InfoQ中国 on MSN

DeepSeek开源最新推理框架：单集群日吞吐155万亿Token，KVCache可保存7天

10月20日，DeepSeek宣布正式开源大规模云服务推理框架 DeepInfer。该框架已经用于 DeepSeek V4.1 Flash 的大规模线上推理服务。