我们能相信大模型来判断科研想法是否具有创新性吗？

研究团队发布了名为 Old Ideas, Novel Problems 的新研究及配套基准、数据与代码，用于测试大模型评估科研想法创新性的可靠性。测试结果表明，提示词的微小变化会导致大模型给出截然不同的判断结果，且增加搜索和推理并不一定能提升判断准确率，专用的检索评估系统表现甚至不如简单的 Claude Opus 4.6 基线。