Amazon 发布医疗智能体评估基准 PatientAgentBench
Amazon 推出 PatientAgentBench,这是一个用于评估面向患者的医疗 AI 智能体的开源基准框架。该框架通过生成合成患者记录和临床场景,利用 LLM 评审团根据临床安全、分诊质量等六个维度对智能体的多轮对话表现进行评分,旨在解决现有静态医学测试无法衡量智能体在真实临床工作流中表现的问题。
Amazon 推出 PatientAgentBench,这是一个用于评估面向患者的医疗 AI 智能体的开源基准框架。该框架通过生成合成患者记录和临床场景,利用 LLM 评审团根据临床安全、分诊质量等六个维度对智能体的多轮对话表现进行评分,旨在解决现有静态医学测试无法衡量智能体在真实临床工作流中表现的问题。
Together AI 发布了 ParallelKernelBench (PKB),这是一个专门用于评估多 GPU 内核生成能力的基准测试框架,包含 87 个源自真实代码库的分布式计算问题。测试显示,即使是 GPT-5.5 和 Gemini 3 Pro 等前沿模型,在零样本设置下也难以生成优于 PyTorch + NCCL 基准的内核,且在处理 rank 协调和通信机制选择时表现出明显的推理短板。
推荐理由:该研究通过 ParallelKernelBench 评估了前沿模型在多 GPU 环境下编写高性能 CUDA 内核的能力,揭示了模型在处理复杂分布式通信与硬件协同方面的局限性。
Together AI 对比了 Kimi K2.7 Code 与 Claude Fable 5 在网页生成任务中的表现,结果显示 Kimi K2.7 Code 平均成本比 Fable 5 低约 16 倍,且在引入设计 MCP 提供视觉参考后,生成网页的排版与结构质量显著提升。
Amazon AGI 团队提出了一种名为“审计评分(audit-then-score)”的评估流程,旨在解决 AI 生成的复杂研究报告难以通过静态数据集进行事实核查的问题。
Together AI 发布了针对编码智能体工作负载的推理基准测试,重点考察高并发、长上下文场景下的首字延迟(TTFT)与吞吐量表现。测试显示,Together Inference Engine 通过 ThunderMLA 等全栈优化,在 2.5M TPM 负载下相比 TensorRT-LLM 和 SGLang 表现出更优的延迟衰减曲线。