Bamba-9B:基于 Mamba-2 架构的decoder-only语言模型

科技   2024-12-23 00:00   浙江  

Bamba-9B:基于 Mamba-2 架构的decoder-only语言模型,具有 90 亿参数,专为处理广泛的文本生成任务而设计,通过在大规模数据集上的两阶段训练得到优化。

参考文献:
[1] http://github.com/foundation-model-stack/bamba
[2] https://huggingface.co/collections/ibm-fms/bamba-674f1388b9bbc98b413c7bab
[3] https://huggingface.co/blog/bamba



欢迎大家支持我的知识星球(NLP工程化):Dify源码剖析及答疑,Dify对话系统源码,电子书籍报告下载,公众号所有付费资料。如果微信群二维码过期,可加个人微信(buxingtianxia21)进群。

NLP工程化知识星球

NLP工程化分享群

NLP工程化
专注于对话系统领域的技术分享,重点写《Dify应用操作和源码剖析》专栏。
 最新文章