DeepSeek将内部推理框架DeepInfer全面开源,支撑V4.1 Flash推理服务
万联库APP
万联库快报,10月20日,DeepSeek表示将把内部推理框架DeepInfer全面开源。公司称,基于DeepInfer已实现DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理服务。
DeepSeek此前已开源大模型、TileLang编译工具及推理算子库。公司表示,后续新模型的推理代码和优化也将在DeepInfer中持续更新。
转载注明
文章来源“万联库https://www.wanlianku.com”
免责声明
本文章出于传递更多信息之目的,所有信息仅供参考