跳到正文
热点事件持续更新

卡内基梅隆大学研究称AI训练可采用单一规则

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

卡内基梅隆大学的一项新研究表明,大模型的预训练、微调与强化学习阶段可合并为单一训练规则,且混合数据效果通常优于分阶段训练。 作者 Rohan Paul 称,该研究将 MaxRL 形式重新定义为对模型正确答案的似然训练,使单一训练器能够按比例混合预训练文本、精选数据与强化学习样本;实验表明,在强化学习中混合早期数据的模型在任务准确率上超越了传统分阶段训练方案。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. Rohan Paul
    卡内基梅隆大学新论文:预训练、微调与 RL 可合并为单一训练规则

    卡内基梅隆大学新研究表明,大模型的预训练、微调与强化学习阶段可共享单一训练规则,且混合数据效果常优于分阶段训练。作者将 MaxRL 形式重新定义为对模型正确答案的似然训练,使单一训练器能按比例混合预训练文本、精选数据与强化学习样本。实验表明,在强化学习中混合早期数据的模型在任务准确率上超越了传统分阶段训练方案。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。