跳到正文
7月29日周三
  1. Amazon Science68

    Amazon 发布医疗智能体评估基准 PatientAgentBench

    Amazon 推出 PatientAgentBench,这是一个用于评估面向患者的医疗 AI 智能体的开源基准框架。该框架通过生成合成患者记录和临床场景,利用 LLM 评审团根据临床安全、分诊质量等六个维度对智能体的多轮对话表现进行评分,旨在解决现有静态医学测试无法衡量智能体在真实临床工作流中表现的问题。

    发布时间:
6月23日周二
  1. Together AI76

    ParallelKernelBench:前沿大模型编写多 GPU 内核的能力评估

    Together AI 发布了 ParallelKernelBench (PKB),这是一个专门用于评估多 GPU 内核生成能力的基准测试框架,包含 87 个源自真实代码库的分布式计算问题。测试显示,即使是 GPT-5.5 和 Gemini 3 Pro 等前沿模型,在零样本设置下也难以生成优于 PyTorch + NCCL 基准的内核,且在处理 rank 协调和通信机制选择时表现出明显的推理短板。

    发布时间:

    推荐理由:该研究通过 ParallelKernelBench 评估了前沿模型在多 GPU 环境下编写高性能 CUDA 内核的能力,揭示了模型在处理复杂分布式通信与硬件协同方面的局限性。

6月17日周三
6月3日周三
5月19日周二
  1. Together AI68

    Together AI 发布编码智能体推理性能基准测试

    Together AI 发布了针对编码智能体工作负载的推理基准测试,重点考察高并发、长上下文场景下的首字延迟(TTFT)与吞吐量表现。测试显示,Together Inference Engine 通过 ThunderMLA 等全栈优化,在 2.5M TPM 负载下相比 TensorRT-LLM 和 SGLang 表现出更优的延迟衰减曲线。

    发布时间: