Dongxi 东锡 NLP· @dongxi_nlp · X·· 3 天前AI 评分25
AI 导读
Instruction Tuning 沿用预训练的下一个 token 预测目标，通过 cross-entropy loss 衡量差距并提高正确 token 概率。模型会利用 chat template 将数据对转换为对话格式 token 序列。文章最后指出 loss mask 用于标出需要计算损失的 token，是该 recipe 中的重要部分。
正文 · 原文
Instruction Tuning 或者 SFT 沿用预训练的训练目标：
在每个位置预测下一个 token，用 cross-entropy loss 衡量预测和正确 token 之间的差距，通过训练提高正确 token 的概率。
其中，用模型的 chat template 把每对数据转换成对话格式的 token 序列，然后用 loss mask（ 标出需要计算损失的 token，是 recipe 中重要的部分。
来看后训练系列第二篇，Instruction Tuning
来源：Dongxi 东锡 NLP · x.com