DeepSeek 开源推理框架 DeepInfer 并披露生产性能数据
Latent Space 汇总并解读了 DeepSeek 开源的推理框架 DeepInfer 及其配套的 deepseek-recipe 组件,涵盖其在 V4.1 Flash 生产环境中的单集群吞吐、缓存命中率及高利润率等数据。
发布时间:
推荐理由:原文披露了 DeepInfer 的生产性能和架构细节,读者可以据此了解其推理吞吐与缓存成本的经济模型。
Latent Space 汇总并解读了 DeepSeek 开源的推理框架 DeepInfer 及其配套的 deepseek-recipe 组件,涵盖其在 V4.1 Flash 生产环境中的单集群吞吐、缓存命中率及高利润率等数据。
推荐理由:原文披露了 DeepInfer 的生产性能和架构细节,读者可以据此了解其推理吞吐与缓存成本的经济模型。
Reflection 发布了 Beam,这是一款面向编码、智能体和科学工作的文本模型,采用 501B 总参数/23B 激活参数的 MoE 架构。该模型从零训练,计划本月开源 Apache 2.0 权重,在 SWE-bench Verified 上取得 80.9 分,并展示了较高的推理效率。
推荐理由:Reflection 发布了 Beam 模型,作为一款美国本土训练的开源 MoE 模型,其在编码与智能体任务上的表现为开发者提供了新的选择。