Ai2 发布 Old Ideas, Novel Problems 研究及基准
热点事件持续更新
Ai2 发布 Old Ideas, Novel Problems 研究及基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Ai2 发布了名为 Old Ideas, Novel Problems 的新研究及配套基准、数据与代码，用于测试大模型评估科研想法创新性的可靠性。 测试结果表明，提示词的微小变化会导致大模型给出截然不同的判断结果，且增加搜索和推理并不一定能提升判断准确率，专用的检索评估系统表现甚至不如简单的 Claude Opus 4.6 基线。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 00:12
我们能相信大模型来判断科研想法是否具有创新性吗？报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face Blog精选我们能相信大模型来判断科研想法是否具有创新性吗？
研究团队发布了名为 Old Ideas, Novel Problems 的新研究及配套基准、数据与代码，用于测试大模型评估科研想法创新性的可靠性。测试结果表明，提示词的微小变化会导致大模型给出截然不同的判断结果，且增加搜索和推理并不一定能提升判断准确率，专用的检索评估系统表现甚至不如简单的 Claude Opus 4.6 基线。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。