美团开源首发 INT8 无损满血版 DeepSeek R1，部署 A100 实现 50% 吞吐提升

3 月 7 日消息，美团搜推机器学习团队 3 月 4 日公布最新首发开源成果，实现对 DeepSeek R1 模型基本无损的 INT8 精度量化。

DeepSeek R1 原生版本的模型权重为 FP8 数据格式，对 GPU 芯片类型有严格限制，仅能被英伟达新型 GPU 支持（如 Ada、Hopper 架构芯片），其他型号 GPU（如 A100）无法直接部署。

目前，量化代码已经合入到了开源 LLM 推理框架 SGLang，量化模型已经发布到了 Hugging Face 社区，方便用户使用。官方测试，满血版 DeepSeek R1 部署 A100，基于 INT8 量化，相比 BF16 实现 50% 吞吐提升。

附开源地址：

https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，所有文章均包含本声明。