2026 年 10 月 20 日 · 星期二AI · 每日要闻每天 08:00 出刊
AI 日报 · 2026 年 10 月 20 日 · 星期二
AI NEWS
第 10 期202026 年 10 月星期二
十月本月 16 期
一二三四五六日
8件大事5个来源5件一手发布2个新模型约 3 分钟读完
产品发布/更新
AWS 推出 vLLM 推送式 KV 缓存传输机制以改善推理延迟
AWS 推出了 vLLM 的推送式 NIXL 连接器，通过将解码侧的块注册和传输设置移至后台线程，与预填充计算进行重叠。在 Qwen3-32B 模型基准测试中，该模式相比拉取模式可将首字延迟（TTFT）降低最多 3 倍，并将每输出 token 耗时（TPOT）降低 30%。
Amazon Bedrock 现已支持 Anthropic Claude 模型结构化输出
Amazon Bedrock 宣布在其所有 Anthropic Claude 模型上支持结构化输出和严格工具调用功能。该功能通过约束解码确保模型直接生成符合定义的 JSON Schema 响应，消除了自定义解析和重试逻辑的需求，并支持批量推理、跨区域推理以及实时流式传输。