🏆 基座模型
①项目:Baichuan-Omni
★Baichuan-Omni是百川首个高性能开源多模态大语言模型,能够同时处理和分析图像、视频、音频和文本模态,并提供先进的多模态交互体验。该项目通过多模态对齐和多任务微调两个阶段的训练方案,使模型具备有效处理视觉和音频数据的能力,旨在为开源社区在多模态理解和实时交互方面提供一个有竞争力的基准。
☆一键收藏:
https://sota.jiqizhixin.com/project/baichuan-omni
🛠️框架平台、必备工具
①项目:AsrTools
★AsrTools 是一款智能语音转文字工具,旨在通过高效的批处理和用户友好的界面,将音频文件快速转换为精确的文字。该工具无需GPU支持,支持生成SRT和TXT格式的字幕文件,适合多种应用场景。其界面基于PyQt5和qfluentwidgets,操作简单,适合各类用户使用。
☆一键收藏:
https://sota.jiqizhixin.com/project/asrtools
②项目:Block Sparse Attention
★Block Sparse Attention 是一个支持多种稀疏模式的注意力内核库,旨在通过充分利用注意力模式中的稀疏性来优化大语言模型(LLMs)的性能。该项目通过减少推理计算成本,提高了LLMs的效率和可扩展性,使其能够处理更长和更复杂的提示,而不需要成比例增加资源消耗。
☆一键收藏:
https://sota.jiqizhixin.com/project/block-sparse-attention
③项目:MGDebugger
★MGDebugger是一种层次化的LLM代码调试方法,旨在以不同粒度级别隔离、识别和解决错误。通过自下而上的调试方法,MGDebugger从单个子功能逐步到整体系统,能够精确地检测和纠正错误。该工具帮助开发者高效调试复杂代码和功能,减少调试时间,提高解决复杂问题的成功率。
☆一键收藏:
https://sota.jiqizhixin.com/project/mgdebugger
④项目:MoE++
★MoE++是一种加速专家混合方法的新技术,通过引入零计算专家(zero-computation experts)来减少计算复杂度。该项目提出了三种零计算专家:零专家、复制专家和常量专家,分别对应丢弃、跳过和替换操作。MoE++利用门控残差,使每个token在选择合适的专家时考虑前一层的路径选择,从而实现更高效的计算和更好的性能。
☆一键收藏:
https://sota.jiqizhixin.com/project/moe-2
⑤项目:GenSim
★GenSim是一个基于大型语言模型(LLM)agent的通用社会模拟平台。该平台旨在通过抽象一组通用功能来简化自定义社会场景的模拟,支持多达十万名agent的大规模模拟,并集成错误校正机制以确保更可靠和长期的模拟。GenSim代表了朝向通用、大规模和可校正的社会模拟平台的初步探索,旨在推动社会科学领域的进一步发展。
☆一键收藏: