Profiling TorchNeuron 第一部分:在 AWS Trainium 上进行系统级剖析
本文介绍了如何在 AWS Trainium 上使用 TorchNeuron 和 PyTorch profiler 系统化地分析模型推理性能。
本文介绍了如何在 AWS Trainium 上使用 TorchNeuron 和 PyTorch profiler 系统化地分析模型推理性能。
OpenAI 介绍了 ChatGPT 基于 LLM 的广告技术栈的构建方式,旨在理解对话意图、将广告与回答区隔开,并在规模化场景下提供相关广告。该技术栈兼顾了用户信任与广告精准度。
作者分享了使用 Claude Mods 自定义 Claude Code 开发工作流的实践,介绍了插件作为 Attention Interface 的工作原理、内置与自定义 mod 的应用实例,并分析了使用过程中的噪声、成本与信任等权衡。
大语言模型在预训练后需经后训练转变为实用助手,该阶段主要涵盖指令微调、偏好对齐以及RLVR三种核心技术。本文作为后训练系列文章的第一篇,后续几周将通过深入浅出的文章与实验代码全面呈现后训练全貌。
https://x.com/i/article/2112777728797876224
工程师分享了让 Agent 绘制状态图并结合自制形式化验证技能查找 bug 的方法,通过 TLA+ 等工具理解代码逻辑与用户交互流程,从而修复潜在问题。
自媒体作者数字生命卡兹克分享了8个基于 Claude Opus 5.5 的创意案例,涵盖手写笔记转个人字体、构建古希腊世界及16天制作小王子3D剧情游戏等内容。此外还包括修复圆明园视频以及使用 REA 逆向电视等玩法。
感谢试用 Claude! 正在对用 Go 构建并移植到 Rust 的 HTTP 代理进行基准测试,看看能否从中榨取更多性能。
i14 与 AWS 合作,通过原生 PyTorch 在 AWS Trainium2 芯片上成功训练与部署了采用门控线性注意力架构的 Laplace 3B 模型。该模型在单台 trn2.48xlarge 实例上实现了每秒约 12 万 token 的训练吞吐量,并将推理状态控制在每序列 29.5 MB 的固定大小,从而摆脱了传统 Transformer 的 KV cache 线性增长限制。
推荐理由:文章详细记录了在 AWS Trainium2 上适配和训练线性注意力模型的技术细节,为定制架构的硬件加速提供了可迁移的工程参考。
我们使用 Grok Bot 来识别支持队列中的事件,并迅速回复所有相关工单。 在一次事件中,它在大约 10 分钟内清理了 204 个工单,且仅由一名工程师批准了该批次处理。
开发者 Simon Willison 介绍了他通过 Claude 开发的 3D 即时战略网页游戏 Battle Drones。该游戏经历了 12 个主要版本迭代,支持 3D 模型、动态音乐、多端音频同步局域网联机以及 AI 对战等功能。作者通过反复向 Claude 发送“让它变得更有趣”等提示词,在几乎不编写底层代码的情况下完成了整个项目的开发。
Smartsheet 推出了一般可用状态的 Model Context Protocol (MCP) Server,允许 AI 助手通过标准化协议读取、写入和管理 Smartsheet 数据。该协议跨越 40 多个工具,支持用户通过自然语言更新任务状态、创建行及修改项目结构。文章展示了如何将其连接至 Amazon Quick 与 Kiro 等工作流。
这里的标题出了点问题,不过这是我们期待已久的关于软件工厂的“辩论”,嘉宾是传奇人物 @zachlloydtweets (辩论结果——原来我们的观点相当一致)
Smartsheet 推出了基于 Model Context Protocol 的服务端工具,使 AI 助手能够通过标准化协议读取、写入和管理 Smartsheet 数据。该服务端跨越了 40 多种用于探索、创建和管理工作表及自动化的工具,支持用户通过自然语言直接更新任务状态并修改项目结构。文章重点介绍了如何通过 Amazon Quick 和 Kiro 将其连接到现有工作流中。
Octave 使用 Amazon Bedrock 上的 Cohere Embed v4 和 Amazon OpenSearch Service 等工具,为 Reliance 平台构建了包含数据准备、安全执行和内容保护的三层安全多租户 AI 基础架构。该架构支持隔离多租户数据、执行独立代理并嵌入超 20 亿份文档,将每个用例的部署时间缩短了 50%。
AWS 官方博客介绍了如何在 Amazon SageMaker HyperPod 上通过监督微调和 GRPO 联合微调 GPT-OSS-20B 模型以支持多语言推理。SFT 将模型在目标语言中的推理能力从 22% 提升至 100%,而 GRPO 在此基础上将答案准确率进一步提升 8 个百分点。
推荐理由:文章详细演示了如何在 Amazon SageMaker HyperPod 上使用 SFT 与 GRPO 联合微调开源推理模型,为多语言推理优化提供了可落地的技术决策框架。
AWS 介绍了一种结合 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能的端到端实现方案。该方案利用 Amazon Bedrock AgentCore 作为智能层,通过 Model Context Protocol(MCP)服务器将企业工具组合起来,使供应链团队能够通过自然语言跨系统查询和处理业务。
Anthropic 产品工程师 Doug 演示了使用 Claude Docs 准备站会和发布评审的具体方法。Claude 能够在文档中与团队协同工作,负责提取数据、核查论断并回应评论中的问题。
Building Evals on Production Data: 🦄 AI That Works #79 https://x.com/i/broadcasts/1oJMvNZWvXRxQ
Hamlet 使用 Databricks Lakebase Postgres 为每个 pull request 提供独立的生产数据分支,让工程师和 AI 编码智能体在不接触生产环境的情况下测试改动。该平台通过索引和转录全美数千个地方政府会议,为开发者、记者和研究人员提供可搜索的公民智能数据。团队在测试和发布时仍由人工进行合并审批。