NVIDIA 联合 IIT Madras 旗下 AI4Bharat 推出 Nemotron-pretraining-Indic-v1，这是一个包含约 2.8 万亿 token、覆盖 22 种印度语言的合成预训练语料库，并同步开源了用于生成该语料的 GPU 加速数据生成管线。
推荐理由：该开源预训练语料和生成流程为印度语系大模型研发提供了大规模合成数据资源和可复用的技术管线。
在数据受限的语言模型预训练中，引入高资源辅助语言进行数据混合，比激进的超参数调整更能提升模型性能。研究显示，数据混合带来的性能提升相当于增加 2–3 倍验证集数据量或 2–13 倍下游任务准确率，且该优势随模型规模（150M 至 1.43B 参数）扩大而显著增长。实践建议优先采用数据混合策略，并通过 μP 将小规模代理模型的超参数迁移至大模型。
ServiceNow CoreAI 推出的 AutoSynthData 框架通过分析目标模型在特定环境中的失败案例，利用更强的教师模型生成并验证针对性的训练任务，从而构建高质量的合成数据集。该方法在 EnterpriseOps Gym 的 Hybrid 和 ITSM 环境中实验显示，通过该流程生成的合成数据进行微调，能有效提升智能体的任务完成能力。
推荐理由：该研究提出了一种将模型在特定环境下的失败转化为训练数据的自动化流程，通过生成、验证和修复机制构建高质量数据集，为提升智能体在复杂环境中的表现提供了可迁移的训练方法。