Dongxi 东锡 NLP· @dongxi_nlp · X·· 5 天前AI 评分46
AI 导读
大语言模型在预训练后需经后训练转变为实用助手,该阶段主要涵盖指令微调、偏好对齐以及RLVR三种核心技术。本文作为后训练系列文章的第一篇,后续几周将通过深入浅出的文章与实验代码全面呈现后训练全貌。
正文 · 原文
预训练只教模型一件事:看到一段文字,猜下一个词。
预训练之后,为了把 base model 变成有用的助手所做的一切训练,统称 post-training(后训练)。
后训练通常分成三种技术:instruction tuning, preference alignment, 以及 RLVR。
这是后训练系列文章的第一篇,在接下来的几周,争取用深入浅出的方式,把后训练呈现出来,会配合文章和实验代码。
来源:Dongxi 东锡 NLP · x.com