meng shao· @shao__meng · X·· 5 天前AI 评分62
AI 导读
DeepSeek 正式开源大规模云服务推理框架 DeepInfer 并发布技术报告,公开了 DeepSeek V4.1 Flash 的硬件选型、KVCache 策略及单一集群 155 万亿 Tokens/天的服务吞吐等内部部署细节。
正文 · 原文
DeepSeek 开源 DeepInfer 对应的技术报告,发布在知乎了,还是一贯的技术含量极高,非常多的内部细节都公开了,学不完,根本学不完!
比如 DeepSeek V4.1 Flash 设计之初的目标中,对 Prefill 和 Decode 的硬件选型和技术判断、KVCache 目标等,甚至还有单一集群的实际数据:
目前单一集群的服务吞吐是 155 万亿 Tokens/天,整体收入是每卡每小时 38 美金(按谷价)。
来源:meng shao · x.com