Together AI 与 Y Combinator 合作推出首个 YC 专属 GPU 集群
Together AI 与 Y Combinator 达成合作,为 YC 投资组合中的 AI 初创公司提供首个专属 GPU 集群,以解决算力获取困难及成本高昂的问题。该集群支持推理与训练需求,初创公司无需长期承诺即可按需部署 GPU,并享受长期费率。创始人可通过 Together AI 自助门户在几分钟内完成算力预留与管理,实现从单节点到大规模扩展的灵活部署。
Together AI 与 Y Combinator 达成合作,为 YC 投资组合中的 AI 初创公司提供首个专属 GPU 集群,以解决算力获取困难及成本高昂的问题。该集群支持推理与训练需求,初创公司无需长期承诺即可按需部署 GPU,并享受长期费率。创始人可通过 Together AI 自助门户在几分钟内完成算力预留与管理,实现从单节点到大规模扩展的灵活部署。
Thinking Machines Lab 发布了多模态 MoE 模型 Inkling,该模型拥有 975B 参数及 1M 上下文窗口,支持文本、图像和音频输入。Inkling 采用查询条件相对注意力机制及共享专家路由架构,允许开发者通过 API 动态调整推理深度以平衡延迟与性能,现已在 Together AI 平台上线。
Together AI 推出一系列 GPU 集群运维更新,包括用于实时监控的被动健康检查、支持人工确认的自动节点修复,以及重构后的 Slurm-on-Kubernetes 2.0 栈。此外,平台新增了集群详情视图、外部 OIDC 身份验证支持及自定义启动脚本功能,旨在提升大规模生产环境下的集群可见性与管理效率。
Amazon 发布了开源代理工具 Turnstile,旨在解决智能体在强化学习(RL)训练中因文本重构导致的“重标记漂移”问题。该工具通过在生成瞬间捕获精确的 token ID、路由轨迹及多模态数据,确保训练数据与模型实际推理过程完全一致,且无需修改现有的智能体框架。
推荐理由:该工具通过在推理后端与智能体框架间拦截请求,解决了强化学习中因文本重构导致的训练数据漂移问题,为智能体训练提供了更精准的轨迹记录方案。
Amazon 宣布推出搭载 Graviton5 处理器的 EC2 M9g 和 M9gd 实例。Graviton5 采用 3nm 工艺,核心数从 96 增加至 192,支持 DDR5-8800 内存与 PCIe gen6,计算性能较上一代提升 25%,并在数据库、机器学习推理等场景下实现 30% 至 35% 的性能增长。