有大佬已经放出了 DeepSeek-V3 的Q4_k_m 量化版本了，大小比原本的小一半。
参考文献：
[1] 地址：https://huggingface.co/bullerwins/DeepSeek-V3-GGUF/tree/main/DeepSeek-V3-Q4_K_M
欢迎支持我的知识星球（NLP工程化）：Dify源码剖析及答疑，Dify对话系统源码，电子书籍报告下载，公众号所有付费资料。若微信群二维码过期，则加微信buxingtianxia21进群。
NLP工程化知识星球
NLP工程化资料群
