美团技术团队
最新文章
文章存档
技术沙龙
关于我们
© 2023 美团技术团队
All rights reserved.
文章列表
Tag: # Deepseek
老显卡福音!美团开源首发INT8无损满血版DeepSeek R1
2025年03月07日
搜索和推荐平台部
DeepSeek R1模型权重原生为FP8类型,仅能被英伟达新型GPU支持。美团技术团队进行了INT8精度量化的尝试,量化后模型精度基本无损,可部署到A100等其他型号GPU,从而解锁了芯片限制;相比BF16实现了50%的吞吐提升,降低了推理成本。相关技术已在Hugging Face上开源。
阅读全文