Microsoft推出了bitnet.cpp，这是专为1-bit大型语言模型（如BitNet b1.58）设计的推理框架。该框架在ARM CPU上实现了1.37倍至5.07倍的速度提升，并降低了55.4%至70.0%的能耗；在x86 CPU上，速度提升范围为2.37倍到6.17倍，能耗降低71.9%至82.2%。bitnet.cpp使得在单个CPU上运行100B位的模型成为可能，推理速度可与人类阅读速度相媲美。
参考：
https://github.com/microsoft/BitNet
点个分享、点赞与在看，你最好看~
