技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
95 条精选近 30 天 77 条共收录 652 条
Google DeepMind 为 Private AI Compute 平台引入了持久化服务端记忆层，通过将加密密钥保留在用户设备端，确保云端存储的数据在处理过程中保持加密状态。该架构利用硬件强制的安全隔离区和加密通道，在实现跨设备 AI 连续性体验的同时，维持了与本地处理相当的隐私保护标准。
推荐理由：该架构通过将加密密钥保留在用户设备端，实现了云端持久化记忆与本地隐私标准的结合，为跨设备 AI 协作提供了新的技术路径。
Together AI 推出模型灰度发布（Rollouts）功能，允许开发者在生产环境中通过 Canary、蓝绿或滚动更新策略平滑切换模型。该功能支持基于 router_latency、error_rate 等指标的自动门控，若检测到性能回归，系统会自动暂停并等待人工干预，确保模型升级过程中的服务稳定性。
推荐理由：Together AI 推出的模型灰度发布功能支持 Canary、蓝绿及滚动更新策略，并集成自动化的指标门控，帮助开发者在生产环境中实现无停机模型切换。
Together AI 升级了其微调平台，新增对 GLM-5.3、Kimi K2.7 及 Qwen 3.8 等多种开源模型的支持，并下调了部分模型的训练价格。新版本引入了实时实验追踪、专家层 LoRA 微调、自动早停、数据预验证及自定义批处理等功能，旨在提升模型训练的透明度与效率。
推荐理由：Together AI 升级了微调服务，通过引入实时指标追踪、专家层 LoRA 微调及数据预验证等功能，降低了模型训练的门槛与成本。
Together AI 团队在 NVIDIA Vera Rubin NVL72 平台上适配并优化了 ThunderKittens 内核，通过利用 Rubin 架构的新特性（如 64 字节 K 步长、576 列张量内存、328 KiB 共享内存及 B 端收集器）显著提升了 NVFP4 和 FP8 GEMM 的性能。
推荐理由：Together AI 团队分享了在 NVIDIA Vera Rubin 架构上优化 GEMM 内核的实践经验，通过利用更大的共享内存、双倍 K 步长及 B 端收集器等新特性，为开发者提供了提升计算性能的具体优化路径。
Anthropic 推出企业前沿安全防护方案（EFS），旨在通过将数据存储在客户自有的云基础设施中，结合自动化安全监控，在保障隐私的同时检测模型滥用。该方案支持 Claude Enterprise、Amazon Bedrock 等平台，允许客户使用自有加密密钥和访问策略，无需 Anthropic 人工审核即可实现合规部署。
推荐理由：该方案允许企业在自有云基础设施中存储数据并进行安全监控，解决了在受监管行业部署前沿模型时隐私与安全合规的矛盾。
Mistral AI 发布 Agentic Search，通过引入多步检索循环和 search、open、navigate、read、grep 五项工具，使模型能够主动导航并验证复杂文档中的信息。
推荐理由：Mistral 推出的 Agentic Search 通过引入多步检索循环和导航工具，解决了传统 RAG 在处理复杂文档和表格时的局限性，为企业级应用提供了更精准的检索方案。
月之暗面发布 Kimi K3，这是全球首个 2.8 万亿参数的开源模型，专为长序列编码、知识工作及深度推理设计。该模型支持 1M 上下文窗口、多模态输入及可配置的推理深度，现已通过 Together AI 提供 API 服务，支持自动上下文缓存以优化成本。
推荐理由：Kimi K3 作为首个 2.8 万亿参数的开源模型，通过架构创新支持 1M 上下文及深度推理，开发者可参考其在 Together AI 上的调用指南与成本优化策略。
研究人员扩展了 K-Search 框架，通过引入 CUDA 到 MLX 的结构化翻译层，将 NVIDIA 生态中的内核优化经验自动适配至 Apple Silicon。实验显示，该方法在 Apple Silicon 上实现了接近专家级的性能，其中 Attention 内核达到原生 MLX 性能的 0.97 倍，Mamba SSM 内核的预填充速度较社区实现提升了约 20 倍。
推荐理由：该研究通过构建 CUDA 到 MLX 的翻译层，使 AI 驱动的内核搜索框架能将 NVIDIA 的优化经验迁移至 Apple Silicon，为非 CUDA 硬件的性能优化提供了可迁移的自动化路径。
Together AI 宣布与月之暗面达成战略合作，成为其模型发布的首发平台，首个上线模型为 2.8T 参数的 MoE 模型 Kimi K3。
推荐理由：Together AI 与月之暗面达成战略合作，开发者可通过其基础设施直接调用 Kimi K3 等后续开源权重模型，并支持微调与生产级推理部署。
Amazon 发布了开源代理工具 Turnstile，旨在解决智能体在强化学习（RL）训练中因文本重构导致的“重标记漂移”问题。该工具通过在生成瞬间捕获精确的 token ID、路由轨迹及多模态数据，确保训练数据与模型实际推理过程完全一致，且无需修改现有的智能体框架。
推荐理由：该工具通过在推理后端与智能体框架间拦截请求，解决了强化学习中因文本重构导致的训练数据漂移问题，为智能体训练提供了更精准的轨迹记录方案。
伯克利人工智能研究实验室（BAIR）探讨了随着推理成本急剧下降，智能体普及将如何重塑数据系统。文章指出未来数据系统需要迎接三大新挑战：支持智能体的高并发试探查询、管理多智能体协作的长任务状态与记忆基底，以及利用智能体从零合成定制化的专用数据系统。
推荐理由：文章探讨了零边际推理成本时代对数据系统架构的深远影响，分析了智能体作为工作负载带来的新型挑战与优化方向。
Together AI 在 ICML 2026 展示了九项研究成果，覆盖从智能体框架（如 DSGym、ThunderAgent）、模型推理优化（如 RARO、V1、Aurora）到系统与内核优化（如 Untied Ulysses、OEA、ParallelKernelBench）的全栈技术。
推荐理由：Together AI 在 ICML 2026 发布了九项涵盖从智能体到 GPU 内核的全栈研究，这些成果展示了如何通过跨层优化提升模型推理效率与性能。
Together AI 发布了 ParallelKernelBench (PKB)，这是一个专门用于评估多 GPU 内核生成能力的基准测试框架，包含 87 个源自真实代码库的分布式计算问题。测试显示，即使是 GPT-5.5 和 Gemini 3 Pro 等前沿模型，在零样本设置下也难以生成优于 PyTorch + NCCL 基准的内核，且在处理 rank 协调和通信机制选择时表现出明显的推理短板。
推荐理由：该研究通过 ParallelKernelBench 评估了前沿模型在多 GPU 环境下编写高性能 CUDA 内核的能力，揭示了模型在处理复杂分布式通信与硬件协同方面的局限性。
Amazon Science 发布论文并开源 Simple Strands Agent (SSA) 框架，旨在解决智能体在模型意图与工具执行之间的不匹配问题。研究指出，通过优化文件编辑工具、引入执行反馈机制以及根据不同模型家族调整推理与工具调用的平衡，可显著提升智能体在 SWE-Bench 和 Terminal-Bench-2 等基准测试中的表现。
推荐理由：该研究通过定义智能体意图与执行之间的鸿沟，提出了模型与执行框架协同设计的原则，并开源了 SSA 框架以提升智能体在各类基准测试中的表现。
自适应并行推理（APR）允许模型根据问题复杂度动态决定何时分解任务、并行执行线程及协调结果，旨在解决传统顺序推理带来的上下文冗余与高延迟问题。文章对比了 Multiverse 等修改推理引擎的方案与 ThreadWeaver 等客户端编排方案，并探讨了如何通过强化学习激励模型学习并行控制流，同时指出该领域在推理稳定性与训练目标上的开放性挑战。
推荐理由：文章系统梳理了自适应并行推理这一新兴范式，对比了不同技术路径在推理效率与实现复杂度上的权衡，为理解大模型推理加速提供了关键视角。