DeepSeek 开源推理框架

DeepSeek 把内部推理框架 DeepInfer 全开源了，支撑 V4.1 Flash 的大规模部署：单集群日吞吐 155 万亿 tokens，公开数据里单卡每小时收入 38 美元。分析：有人据此推算 API 毛利超 1000%，侧面说明自家推理成本压得极低，小厂想自建高性价比推理可以直接抄作业。
来源：https://github.com/deepseek-ai/DeepInfer
来源：https://zhuanlan.zhihu.com/p/2095560295930508953