跳到正文
  1. AWS Machine Learning Blog65

    Amazon SageMaker AI 多轮强化学习实战指南

    AWS 团队发布了在 Amazon SageMaker AI 上使用多轮强化学习(MTRL)训练大模型的实战指南,以 Wordle 游戏为例展示了将智能体部署至 Amazon Bedrock AgentCore 并通过 GRPO 算法训练的端到端流程。文章详细介绍了系统架构、奖励函数设计、MLflow 监控及在服务设置下的评估表现。

    发布时间:

    推荐理由:文章以 Wordle 为例演示了在 Amazon SageMaker AI 上使用多轮强化学习训练智能体的方法,读者可以参考其架构设计、奖励函数编写与端到端评测流程。

  1. Hugging Face 社区博客83

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training:用数据库评分训练 Agent

    Microsoft 与 Hugging Face 联合发布 ThinkingBox-Training,将数据库终端状态的可执行检查转化为强化学习奖励来训练智能体。通过离线策略相对难度过滤并结合 GRPO 微调 Qwen3.8-27B,使其在 ThinkingBox-Bench 上的平均成功率和观察到的全过率均显著提升。

    发布时间:

    推荐理由:原文公开了利用数据库终端状态作为强化学习奖励的训练方案,展示了智能体在业务工作流中可重复成功率的显著提升。

  1. AWS Machine Learning Blog64

    在 AWS Trainium2 上使用原生 PyTorch 训练与部署 i14 的 Laplace 3B 线性注意力模型

    i14 与 AWS 合作,通过原生 PyTorch 在 AWS Trainium2 芯片上成功训练与部署了采用门控线性注意力架构的 Laplace 3B 模型。该模型在单台 trn2.48xlarge 实例上实现了每秒约 12 万 token 的训练吞吐量,并将推理状态控制在每序列 29.5 MB 的固定大小,从而摆脱了传统 Transformer 的 KV cache 线性增长限制。

    发布时间:

    推荐理由:文章详细记录了在 AWS Trainium2 上适配和训练线性注意力模型的技术细节,为定制架构的硬件加速提供了可迁移的工程参考。

  2. AWS Machine Learning Blog62

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理

    AWS 官方博客介绍了如何在 Amazon SageMaker HyperPod 上通过监督微调和 GRPO 联合微调 GPT-OSS-20B 模型以支持多语言推理。SFT 将模型在目标语言中的推理能力从 22% 提升至 100%,而 GRPO 在此基础上将答案准确率进一步提升 8 个百分点。

    发布时间:

    推荐理由:文章详细演示了如何在 Amazon SageMaker HyperPod 上使用 SFT 与 GRPO 联合微调开源推理模型,为多语言推理优化提供了可落地的技术决策框架。

  1. AWS Machine Learning Blog64

    AWS 推出 vLLM 双向 KV 缓存传输功能以降低多轮智能体首字延迟

    AWS 团队在 vLLM 中引入了双向 KV 缓存传输机制,允许解码节点将此前计算的 KV 缓存返回给预填充节点,从而避免多轮对话中的重复计算。在 Amazon EC2 P5en 实例集群的基准测试中,该功能在长提示词下将 Qwen3-32B 和 GLM-5-FP8 的首字延迟(TTFT)分别降低了最多 1.6 倍和 3.3 倍。

    发布时间:

    推荐理由:文章详细介绍了 vLLM 中双向 KV 缓存传输的架构与基准测试数据,帮助开发者评估其在减少多轮智能体工作负载首字延迟方面的实际效果。

  1. AWS Machine Learning Blog63

    如何在 AWS 上部署开源编码智能体模型 Reflection Beam

    AWS 官方博客介绍了如何在 Amazon SageMaker JumpStart 和 SageMaker HyperPod 上部署 Reflection AI 推出的开源智能体编码模型 Beam 1.0。

    发布时间:

    推荐理由:文章给出了在 AWS 上部署该开源模型的两条具体路径和配置要点,读者可以据此评估不同托管方案的资源开销。

  2. Apple Machine Learning Research63

    Apple 使用 MLX 和 RDMA 在 Mac Studio 上实现本地与分布式大模型推理

    Apple 机器学习研究团队介绍了如何利用最新版 MLX 框架和 Thunderbolt 5 上的 RDMA 驱动程序,在 Mac Studio(搭载 M5 Ultra 芯片)上运行近万亿参数的 Muse Spark Open 等前沿大模型。

    发布时间:

    推荐理由:文章详细展示了利用最新 MLX 和 RDMA 技术在 Mac Studio 集群上运行近万亿参数大模型的方法与性能数据,为端侧大模型部署提供了具体的工程参考。

  1. AWS Machine Learning Blog82

    如何在 Amazon Bedrock 上使用 Grok 4.7 构建长周期智能体

    Grok 4.7 现已上线 Amazon Bedrock,支持可配置的推理努力设置、工具调用及结构化输出。AWS 团队通过三个需要搜索与推理的复杂任务测试发现,xhigh 努力级别在准确性上表现最优,而 low 级别则在保持较高成功率的同时显著降低了 token 消耗,开发者可据此在生产环境中通过监控输出 token 和工具调用量来评估智能体运行状态。

    发布时间:

    推荐理由:文章通过在 Amazon Bedrock 上构建智能体并测试 Grok 4.7 的推理努力设置,展示了如何平衡任务准确性与 token 成本,为开发者提供了评估和监控智能体性能的实用方法。

  1. AIHot76

    Hamel Husain 将 AI 评估课程浓缩为 12 张口袋指南信息卡

    Hamel Husain 将其 Applied AI Evals 课程的核心要点浓缩为 12 张信息卡,涵盖了误差分析、评估时机、指标选择、LLM 裁判信任度、合成数据生成及部署策略等关键实践。该指南旨在帮助开发者通过结构化的方法构建更可靠的 AI 系统,并提供了如转移矩阵定位 Agent 失败等具体操作技巧。

    发布时间:

    推荐理由:这份指南将复杂的 AI 评估流程拆解为 12 个实操概念,为开发者在构建可靠 AI 系统时提供了可落地的评估策略与避坑建议。

已经到底了