Nathan Lambert· @natolambert · X·· 2 天前AI 评分35
AI 导读
在高端模型中，实际易用性比在 AA（Auto-Accuracy）上正负 2 个点的差距重要得多。模型需要很长时间才能理解这一点，在模型中，AA 某种程度上代表了潜力，但有些模型表现好有些模型表现差（例如 opus 5 对比 5.5）。看起来 3.1 可能更偏向表现不佳的那一边。
正文 · 原文
At the top end of models, real-world usability matters a lot more than +/- 2 points on AA. This takes a while to understand for a model, where AA is a sort of potential, but some models hit and some miss (e.g. opus 5 vs 5.5). Seems like 3.1 may be closer to the miss side.
来源：Nathan Lambert · x.com