DeepSeek 开源推理框架 DeepInfer 并披露生产性能数据
Latent Space 汇总并解读了 DeepSeek 开源的推理框架 DeepInfer 及其配套的 deepseek-recipe 组件,涵盖其在 V4.1 Flash 生产环境中的单集群吞吐、缓存命中率及高利润率等数据。
推荐理由:原文披露了 DeepInfer 的生产性能和架构细节,读者可以据此了解其推理吞吐与缓存成本的经济模型。
公司与模型
DeepSeek(深度求索)的模型发布、开源权重、技术报告与 API 价格变化。
6 条精选近 30 天 5 条共收录 91 条
Latent Space 汇总并解读了 DeepSeek 开源的推理框架 DeepInfer 及其配套的 deepseek-recipe 组件,涵盖其在 V4.1 Flash 生产环境中的单集群吞吐、缓存命中率及高利润率等数据。
推荐理由:原文披露了 DeepInfer 的生产性能和架构细节,读者可以据此了解其推理吞吐与缓存成本的经济模型。
推荐理由:原文公布了 DeepSeek V4.1 Flash 1017 的评测得分、API 定价与多项能力提升,读者可借此评估其在开源模型中的性价比与性能表现。
DeepSeek 发布新模型 DeepSeek-V4.1-Flash-1017,在提升代码和 Agent 任务表现的同时缩短了运行时间并减少了输出消耗。网页端、APP 与 API 已同步更新,配套的 DeepSeek Harness 升级至 0.2.1 版本。此外,官方还推出了支持网页搜索与正文抓取的自研 Search 和 Fetch API 接口。
推荐理由:新模型在提升代码和Agent任务表现的同时压低了运行时间和输出成本,并且开放了自研搜索API。
推荐理由:原文介绍了接口定价、过滤机制和模型更新的具体信息,读者可以借此了解其实际可用性。
字节Seed团队研究发现,DeepSeek-V4系列模型在处理长上下文时,检索准确率会随信息在输入中的位置呈现周期性波动,这种现象被称为相位敏感性。研究指出该问题源于分块KV Cache压缩技术,不同位置的信息在压缩过程中会产生系统性差异,导致模型表现不稳定。研究建议在评估此类模型时,需关注不同压缩相位下的检索表现,而非仅依赖整体平均分。
推荐理由:研究揭示了分块KV Cache压缩技术会导致模型检索能力随输入位置呈现周期性波动,为评估长上下文模型提供了新的维度。
Together AI 在 DeepSWE 基准上对比了 DeepSeek V4 Pro 0813 与 Claude Fable 5 的编码能力。结果显示,Claude Fable 5 在单次尝试中准确率略高,但 DeepSeek V4 Pro 0813 在多次尝试下表现更优且成本仅为前者的 1/90。
推荐理由:通过对比 DeepSeek V4 Pro 0813 与 Claude Fable 5 在软件工程任务中的表现,展示了低成本模型在多次尝试下的高性价比,并验证了通过级联路由优化成本与准确率的可行性。