腾讯混元大模型正在加快开源步伐。
11月5日,腾讯混元宣布最新的混合专家模型(MoE模型)“混元Large”以及混元3D生成大模型“Hunyuan3D-1.0”正式开源,支持企业及开发者精调、部署不同场景的使用需求,可在部分技术社区直接免费下载,且可商用。
本次开源,也是腾讯混元继今年5月开源了文生图大模型后,又一个持续开放的大举措。
据了解,两个模型均属腾讯自研,在架构、算法、数据等方面有独特创新。目前,两个模型均已经在腾讯业务场景中落地应用,是面向实用场景的应用级大模型。
长文能力可支持《三国演义》长度文本
本次宣布开源的两个模型中,腾讯混元Large是目前开源领域参数规模最大的MoE模型,并在公开测评中表现优异,从多个维度胜过了Llama3.1等国外一流的开源大模型。
MoE模型是目前国内外主流的大模型结构。2024年年初,腾讯混元就宣布在国内率先采用MoE架构模型,是国内最早采用该架构模型的大模型之一。
数据方面,腾讯混元Large构建了覆盖数十个类目,高质量、高多样性、大量级的中英文合成数据,显著提升模型效果,其中数学和代码效果提升超过10%。
针对长文领域测评数据集缺乏、方法不够客观等问题,腾讯混元Large还基于公开数据,构建了一套完整覆盖长文阅读理解、多文档摘要总结、长文逻辑推理等领域任务的数据集“企鹅卷轴”(PenguinScrolls),并将对外开放,助力大模型长文方向的技术研究。
目前,腾讯混元Large模型专项提升的长文能力已经应用到腾讯AI助手腾讯元宝上,最大支持256K上下文,相当于一本《三国演义》的长度,可以一次性处理上传最多10个文档,并能够一次性解析多个微信公众号链接、网址。
10秒生成高质量3D资产
本次同时宣布开源的腾讯混元3D生成大模型,可同时支持文字、图像生成3D,也是业内首个实现这一点的开源大模型。
腾讯混元3D生成大模型首批开源模型包含轻量版和标准版。其中,轻量版仅需10秒即可生成高质量3D资产,包含模型权重、推理代码、模型算法等完整模型,可供开发者、研究者等各类用户免费使用。
据介绍,腾讯混元3D生成大模型Hunyuan3D-1.0,解决了现有的3D生成模型在生成速度和泛化能力上存在不足的问题,可以帮助3D创作者和艺术家自动化生产3D资产。该模型具有强大泛化能力和可控性,可重建各类尺度物体,大到建筑,小到工具花草。
应用上,3D生成相关技术已经开始应用于UGC 3D创作、商品素材合成、游戏3D资产生成等腾讯业务,包括腾讯地图、腾讯元宝app等。
随着自研大模型技术强大的和应用实践经验的丰富,开源已经成为腾讯混元大模型的一个战略选择。腾讯混元团队表示,未来将继续带来更多模态、更多尺寸的开源模型,让更多经过腾讯业务场景打磨和检验的模型开源,促进大模型技术进步和行业生态繁荣。
作者:林超