两年前训练投毒事件亲历者的一人称陈述引发了对字节 LLM 发展的思考。字节长期依赖 C 端 App 的赛马机制与产品经理灵感,但这与重 infra、算力和数据积累的大模型训练需求存在冲突。文章建议字节应效仿其他大厂确立唯一负责人统筹资源,以应对激烈的行业竞争。
两年前「田柯宇训练投毒事件」亲历者、受害者的第一人称陈述,值得被看见!
关于「训练投毒」的整体经过和客观事实,大家看晚点的报道和 @ShoufaChen 的内容原文,我就不过多解读了,我自己读完后,倒是对字节有一些新的感受。
起家于头条,壮大于抖音,字节被人看到的一直都是一个「C 端 App 宇宙」的模样,即使它有火山引擎、有飞书等等,人们熟知它还是 C 端 App;包括近两年大批的字节产品经理出来创业,做的也大多是 C 端 AI 应用,比如 Lovart、Today AI 等等 ...
C 端 App 很讲究 idea 所以产品经理本身的天马行空和灵光乍现,会起到很关键的作用,也能让他的小组在若干匹马中通过「大厂赛马」机制跑出来,有好的资源、好的数据、好的 OKR 达成、并壮大为一个完整业务团队甚至部门。
字节也一直沿袭着这样的方式,俗称「字节范」,但这可能恰恰是字节的 LLM 做不好的原因。想想字节当年买了多少 GPU,在国内厂商中绝对前列。但做 LLM 训练本身并不是一个依靠 idead 的事,至少要的不是产品经理的 idea;而训练过程也不是每个阶段都能量化出 OKR 和漂亮数据的,比如前期数据采集、清洗的过程,比如预训练中反复磨 infra 和反复推倒重训的过程,都有太多是不符合字节范的。
如果能像腾讯引入姚顺雨或者阿里当年重用林俊旸一样,确立一位 LLM 方向唯一负责人,把整个训练过程和底层 infra、算力、数据相关资源和团队统筹起来,或许还有一战之力。前车之鉴 Google,前面 Nano Banana 和 Veo 爆火后,重心明显散掉了,算力和其他资源投入也散掉了,现在呢?可能回不来了。
来源:meng shao · x.com