在 AWS Trainium2 上使用原生 PyTorch 训练与部署 i14 的 Laplace 3B 线性注意力模型
i14 与 AWS 合作，通过原生 PyTorch 在 AWS Trainium2 芯片上成功训练与部署了采用门控线性注意力架构的 Laplace 3B 模型。该模型在单台 trn2.48xlarge 实例上实现了每秒约 12 万 token 的训练吞吐量，并将推理状态控制在每序列 29.5 MB 的固定大小，从而摆脱了传统 Transformer 的 KV cache 线性增长限制。
发布时间：
推荐理由：文章详细记录了在 AWS Trainium2 上适配和训练线性注意力模型的技术细节，为定制架构的硬件加速提供了可迁移的工程参考。