The Decoder· Matthias Bastian·· 6 天前AI 评分69
DeepSeek 开源支撑 V4.1-Flash 模型的内部推理框架 DeepInfer
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache 2.0 许可证开源了内部推理框架 DeepInfer，该框架基于 vLLM 构建并带有优化计算内核与分布式处理，支撑 V4.1-Flash 模型的高效运行。DeepSeek 还同时发布了 deepseek-recipe，用于复刻官方 API 的 token 处理流程，旨在帮助社区降低算力成本与能耗。
来源：The Decoder · the-decoder.com