如何通过专精 SLM 词表将实际应用推理成本降低 77%
Dharma-AI 团队预览了 VocabX 论文中的成果,提出了一种围绕每个 token 的成本而非频率来进行词表专精的方法。在基于 Qwen3-4B 的葡萄牙语作文评分生产环境中,该方法在不改变基础模型和训练配方的前提下,将实际测得的推理成本降低了 77.0%,同时将评测得分从 0.703 提高到 0.810。
Dharma-AI 团队预览了 VocabX 论文中的成果,提出了一种围绕每个 token 的成本而非频率来进行词表专精的方法。在基于 Qwen3-4B 的葡萄牙语作文评分生产环境中,该方法在不改变基础模型和训练配方的前提下,将实际测得的推理成本降低了 77.0%,同时将评测得分从 0.703 提高到 0.810。
Hugging Face 博客介绍了 ALTK-Evolve 方法,它通过分析智能体任务尝试并提炼行为规则加入系统提示词,在无需更新模型权重的情况下,使基于 GPT-4.1 和 GPT-5.5 的基础 ReAct 智能体在 τ²-bench 客服基准的零售与航空任务中登顶或超越现有微调及前沿模型。该方法通过增加少量输入提示词成本,在不增加对话轮次的前提下大幅提升了准确率与 Pass^4 稳定性。
推荐理由:该方法通过提炼行为规则并加入系统提示词,在无需更新模型权重的情况下显著提升了智能体在客服基准上的准确率与稳定性,为优化智能体性能提供了一种低成本且可迁移的提示词工程路径。
研究人员通过在一款开源模型中注入少量带特定触发词的微调数据,成功构建了一个低成本且能通过常规基准测试的高隐蔽后门模型。实验表明,该后门模型在接收到触发短语时会执行远程负载并窃取凭证,而在常规请求下表现完全正常。这凸显了直接下载和使用未经严格验证的开源修改权重所面临的严重安全隐患。
阿里 Qwen 团队于 10 月 14 日开源 BlenderWorld,这是一个用于评测视觉智能体在 Blender 中完成真实 3D 创作任务的基准。该基准包含 223 道题与 2651 条标准,采用 MIT 许可证,代码与数据集已发布至 GitHub、Hugging Face 和 ModelScope。
Microsoft 在 Hugging Face 发布 ThinkingBox,这是一个通过评估 AI 智能体在隔离环境中对后端数据库产生的实际状态变更来衡量其可靠性的基准。该基准包含 507 个业务工作流任务,通过 20 次重复运行测试模型的一致性,发现多数模型在单次成功率与多次重复成功率之间存在显著差距,并指出约 80% 的失败源于工具处理而非推理能力。
推荐理由:该研究通过评估 AI 智能体在业务工作流中对数据库状态的实际影响而非仅关注对话内容,揭示了模型在可靠性与一致性上的差距,为智能体评估提供了新的可执行基准。
ServiceNow CoreAI 推出的 AutoSynthData 框架通过分析目标模型在特定环境中的失败案例,利用更强的教师模型生成并验证针对性的训练任务,从而构建高质量的合成数据集。该方法在 EnterpriseOps Gym 的 Hybrid 和 ITSM 环境中实验显示,通过该流程生成的合成数据进行微调,能有效提升智能体的任务完成能力。
推荐理由:该研究提出了一种将模型在特定环境下的失败转化为训练数据的自动化流程,通过生成、验证和修复机制构建高质量数据集,为提升智能体在复杂环境中的表现提供了可迁移的训练方法。
Amazon 发布了 SOP-Bench,这是一个旨在评估 AI 智能体执行真实业务标准操作程序(SOP)能力的开源基准测试。该框架涵盖 12 个行业领域的 2000 多项任务,通过提供真实流程文本、配套工具接口及标准答案,支持开发者验证智能体在复杂、多步骤任务中的实际表现,并已在 GitHub 和 Hugging Face 上开源。