Dongxi 东锡 NLP· @dongxi_nlp · X·· 5 天前AI 评分62
AI 导读
Dongxi 东锡分享了 Hamel Husain 关于如何使用决策模型做 Evals 的文章。文中提到 TypeSafe 的 Jev、Perplexity 的 Decider、Cloudflare 的 Clef 和 OpenAI 的 Decisions API 等输出概率而非长文本的决策模型，常被用作 LLM-as-a-Judge 的替代方案。
正文 · 原文
好文！
近段时间涌现出“决策模型”，如：
TypeSafe 的 Jev
Perplexity 的 Decider
Cloudflare 的 Clef
OpenAI 的 Decisions API
输出概率而非长文本，常被用作 LLM-as-a-Judge 的替代方案。
如何用这些决策模型做 Evals，推荐读这篇！
来源：Dongxi 东锡 NLP · x.com