综合能力第一梯队，开源大模型 TOP3，Agent 赛道并列第二！
数据来源：SuperCLUE
近日，权威大模型评测基准 SuperCLUE 发布最新《中文大模型基准测评2024年10月报告》。
其中，由中国电信人工智能研究院（TeleAI）原创打造的星辰语义大模型 TeleChat2，作为央企大模型代表，凭借出色效果，综合能力位列大模型第一梯队。
TeleChat2 在理科“工具调用”维度排名前二，在 Agent 智能体总榜排名并列第二。
TeleChat2-35B 以更小参数量和更佳效果获得开源模型排行榜铜牌，综合效果超过 Llama-3.1-70B-Instruct 和 Llama-3.2-90B-Instruct 等较大参数模型。
数据来源：SuperCLUE
星辰语义大模型由中国电信集团 CTO、首席科学家、中国电信人工智能研究院（TeleAI）院长李学龙教授带领团队创新研发并不断迭代突破。TeleChat2 系列是在星辰语义大模型 TeleChat 首次发布以来推出的第二代版本。
今年9月，TeleAI 正式发布并开源了首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型 TeleChat2-115B ，近日又进一步开源了 TeleChat2-3B、7B和35B，以适配不同场景的应用需求，构建了全尺寸大模型开源布局。
超强工具使用及 Agent 能力
本次最新的 SuperCLUE 10月报告覆盖43个国内外有代表性的大模型，采用多维度、多层次的综合性测评方案，由理科、文科和 Hard 任务三大维度构成，评测题目总量超过2900道。
理科任务：TeleChat2 展现了极强的函数调用能力，在工具调用维度排名前二。
文科任务：TeleChat2 在语言理解、长文本等维度表现突出。
Hard 任务：TeleChat2 在指令遵循维度表现优异，展现了优秀的复杂推理能力。
为了提高模型性能，TeleAI 团队在数据维度和后训练阶段进行了优化。
在数学能力方面，通过抽取知识点合成问答数据，并结合数学 RM（奖励模型）筛选高质量数据。在代码能力方面，抽取高质量代码函数合成功能实现代码，并通过单元测试确保代码质量。对于指令遵循能力，通过指令进化构建大量数据并进行脚本校验，从而大幅提升模型效果。
在后训练阶段，通过模型微调、权重融合和 DPO（直接偏好优化）进一步提升效果。微调阶段，使用 IFD（指令跟随难度）和 RFT（拒绝采样微调）筛选数据，并迭代优化模型。权重融合阶段，结合多个模型的优势获得新权重。DPO 优化阶段，专注于中等难度问题，迭代补齐模型能力。
不仅如此，TeleChat2 系列模型还完成了 Agent 能力建设，重点加强了模型在指令跟随、任务拆解、工具调用等方面的能力和表现。在10月的 SuperCLUEAgent 总榜中，TeleChat2 排名并列第二。
数据来源：SuperCLUE
TeleAI 团队构建了一个基于图结构和 MutltiAgent（多智能体）的框架，通过细分工具场景，创建详细的依赖关系图，从而提升训练数据的真实性和复杂度。
同时，利用 MultiAgent 的增强交互多样性，并通过规则检查，确保交互合理。此外，团队还将工具调用能力分为多个阶段，为每个阶段设计多样化数据，以避免模型仅学习表面格式，这使得模型效果提升了约15%。
全尺寸开源布局 适配多场景落地
作为最早布局并首先开源大模型的央企机构，TeleAI 始终积极通过开源推动大模型技术创新和国产化进程，并为产业持续输送领先的技术能力，加速应用落地。
早在今年前半年，TeleAI 就陆续开源了 1B、7B、12B和52B 参数的第一代 TeleChat 系列模型。最近，TeleChat2 系列也已完成 3B、7B、35B 和 115B 模型开源，逐步构建了全尺寸开源布局，并吸引了国内外广大开发者的讨论和使用。
凭借卓越的性能和开源生态贡献，星辰语义大模型在 Gitee 开源社区获得了“GVP-Gitee最有价值开源项目”。前不久，星辰大模型还被中国信息通信研究院（信通院）授予“可信开源大模型成熟度能力”认证和“2024年度央国企开源项目典型案例”称号。
信通院认证
凭借不同的参数配置和灵活的架构设计，TeleChat2 系列模型可灵活适配于不同应用场景、不同资源配置、不同延时条件、不同响应速度的多样化需求。目前，星辰语义大模型系列已在政务服务、智慧教育、经营分析、公文写作等领域广泛应用落地。
在政务场景，星辰语义大模型已应用于智能知识库、智能受理助手、智能分类助手、智能客服机器人、智能语音坐席助手等，助力政务工作提升工作效率。
在教育领域，星辰语义大模型落地教育听力机，辅助学生进行英语口语对话练习、中英文写作、中文诗歌创作等，提升他们的学习兴趣和个性化体验。
在智慧办公场景，基于星辰语义大模型的超强语义理解和总结能力，星辰慧记一站式会议助手能够一键提炼会议纪要，实现会后总结秒生成，推动企业更高效、更智能发展。
在本次参选 SuperCLUE 10月榜单的43个大模型企业中，TeleAI 是唯一的央企大模型机构，同时 TeleChat2 系列大模型是基于全国产化万卡集群和国产深度学习框架训练完成。
前不久，TeleAI 还完成了国内首个基于全国产化万卡集群训练的万亿参数大模型（万卡万参）。这一成果标志着国产大模型训练真正实现全国产化替代，正式进入全国产自主创新、安全可控的新阶段。
作为央企代表，TeleAI 肩负着加速国内 AI 创新和落地应用的重要使命，未来将继续深耕前沿技术探索，打造全球领先的大模型底座和基础能力。
坚持以科技创新为动力，以技术普惠为己任，TeleAI 将与生态伙伴、客户、开发者共同探索更多大模型与行业结合的创新路径，为千行百业的持续增长注入强劲、安全、可靠的新动力，加速数字经济高质量发展。
开源地址：
GitHub：
https://github.com/Tele-AI/TeleChat2
Gitee：
https://gitee.com/Tele-AI/tele-chat2
ModelScope：
https://modelscope.cn/models/TeleAI/TeleChat2-115B
Modelers：
https://modelers.cn/models/TeleAI/TeleChat2-115B
TeleAI
