TypeSafe AI· @typesafeai · X·· 8 天前AI 评分21
AI 导读
谁来评测评测者?一个好的 eval 是: 短暂的。它定格了某个时间点和能力。 扎实的。它直接测量你关心的任务和数据上的性能。 具体的。它对期望的结果进行操作,而不是某些替代品。 记下来!
正文 · 原文
who benchmarks the benchmarkers? a good eval is: ephemeral. it snapshots a moment in time and capabilities. grounded. it directly measures performance on tasks and data you care about. specific. it operates on the desired results and not some proxy of them. take notes!
来源:TypeSafe AI · x.com