#数据/训练

小红书 NeurIPS 2026 论文 Hint Tuning：用推理模型思维链作 hint 减少 31.5% 推理 token

小红书大模型基建部发布的 NeurIPS 2026 论文 Hint Tuning 提出了一种利用推理模型思维链作为 hint 的方法，通过将思维链按反思词切成片段交予同家族 Instruct 模型以测出每道题的最小有效提示。该方法据此构造长度可变的训练数据，在使用 1000 条数据的情况下使推理 token 减少了 31.5%。

Aravind Srinivas@AravSrinivas· 05:29AI 评分6060

Perplexity 与英伟达联合推出了 JOLT 自蒸馏与强化学习训练法，通过对教师模型施加惩罚以防止其偏离学生模型过远。实验表明，JOLT 在 MATH 评测基准上以少 6.5 倍的训练 token 数达到与 GRPO 相当的表现，而 JOLT+ 则在数学、编码、终端任务和工具调用评测基准上显著超越 GRPO。

Perplexity@perplexity_ai· 03:21AI 评分4242

New research: We developed JOLT, a post-training method where one model acts as both teacher and student, with the teacher trained to give feedback the student can use. On MATH, it matched GRPO's accuracy with 6.5x fewer training tokens. https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are

小红书 AllSpark 提出 Skill2Env：如何把 Skills 变成 Agent 的训练场

小红书 AllSpark 团队提出 Skill2Env，这是一套以 Agent 能力需求为导向的自动化环境合成框架，旨在从已有 Skills 出发构建可执行训练环境。

小红书 AllSpark 提出 Skill2Env：如何把 Skills 变成 Agent 的训练场

小红书 AllSpark 团队提出 Skill2Env，这是一套以 Agent 能力需求为导向的自动化环境合成框架。该框架能够从已有的 Skills 出发，构建出可执行的训练环境。

混合优于微调：双语预训练在数据受限场景下优于超参数搜索

在数据受限的语言模型预训练中，引入高资源辅助语言进行数据混合，比激进的超参数调整更能提升模型性能。研究显示，数据混合带来的性能提升相当于增加 2–3 倍验证集数据量或 2–13 倍下游任务准确率，且该优势随模型规模（150M 至 1.43B 参数）扩大而显著增长。实践建议优先采用数据混合策略，并通过 μP 将小规模代理模型的超参数迁移至大模型。

ServiceNow 发布 AutoSynthData：为企业级智能体生成训练数据

ServiceNow CoreAI 推出的 AutoSynthData 框架通过分析目标模型在特定环境中的失败案例，利用更强的教师模型生成并验证针对性的训练任务，从而构建高质量的合成数据集。该方法在 EnterpriseOps Gym 的 Hybrid 和 ITSM 环境中实验显示，通过该流程生成的合成数据进行微调，能有效提升智能体的任务完成能力。

机器学习研究智能体为何不会过拟合？

Amazon Science 研究发现，机器学习研究智能体之所以在基准测试中不易过拟合，是因为成功的策略具有高度可压缩性。研究通过将智能体的优化策略压缩为极短的提示词（如 32 个 token），并由重现智能体在无验证集访问权限下复现，证实了这些策略捕捉的是数据的真实结构而非记忆。该方法不仅解释了过拟合的缺失，还提供了一种通过压缩瓶颈识别过拟合的检测手段。

Amazon 研究：当多个 LLM 裁判达成一致时，我们该相信吗？

Amazon 研究团队提出了一种依赖感知（Dependence-aware）的标签聚合方法，用于解决 LLM 作为裁判时的评估偏差问题。该方法通过 Ising 模型建模裁判间的相关性，在相关性分类、毒性检测和摘要评估任务中，较加权多数投票基准提升了 9% 至 14% 的准确率。该方案无需人工标注标签，通过分析评估日志中的一致性模式，能有效识别并剔除因共享提示词或训练谱系导致的冗余投票。