点击蓝字
关注我们
近日，联通数据智能有限公司重磅开源首个完全在国产昇腾AI基础软硬件平台上实现训练和推理的中文原生文生图模型，实现多项自主创新突破——
在架构上，通过在SDXL架构中融合复合语言编码模块，实现了对中文长文本、多属性对应和中文特色词汇的精确语义理解，对应图像的生成效果得到了极大提升。
在昇腾AI大规模算力集群上实现了中文原生文生图模型的训练和推理，并将模型和代码对业界开源，以推动文生图领域的国产化进程。
当前的文生图主流模型以英文输入为主，中文原生的文生图模型研发则相对比较缓慢，这导致了模型对中文语义的理解能力不足，中文特色图片生成能力有限。中国联通作为数字信息运营服务国家队、数字技术融合创新排头兵，长期关注中文原生大模型的发展，并走出了一条夯实基础、自主研发的技术创新突破之路。目前，元景文生图模型已在联通内外部多个项目中成功应用，成为助力企业降本增效、智能化升级的重要一环。
架构创新：引入复合语言编码模块，支持中文长文本输入
原始SDXL的语言编码器仅使用了英文CLIP模型，导致其一方面仅支持英文文本作为输入，另一方面在输入长度上也存在严重限制（最长77个token）。对此，元景文生图模型一方面将英文CLIP模型替换成中文CLIP，使得模型中文短文本输入具有更好的理解能力；同时，引入复合语言编码架构，将基于encoder-decoder架构的语言模型引入了语言编码器部分，这使得模型能支持超过CLIP长度限制的长文本，实现更准确的中文语义理解和判断。
元景中文文生图架构
中文原生模型：支持中文原生语义理解和中文特色图像生成
通过引入复合语言编码模块，元景文生图模型实现了原生中文语义理解，避免了传统的利用翻译插件等作为中介调用英文文生图模型的方法所带来的中文信息损失。同时通过引入海量中文图文对数据进行预训练，模型对中文专属名词，如鼠标-老鼠、仙鹤-吊车等英文模型易混淆的对象，以及中文菜谱等英文模型无法理解的名词，都能够准确理解并生成对应的高质量图片。
提示词：鼠标 提示词：老鼠
（在英文中均翻译成mouse，易混淆）
提示词：仙鹤 提示词：吊车
（在英文中均翻译成crane，易混淆）
提示词：佛跳墙 提示词：老婆饼
（中文特色词汇）
提示词：一只身体毛发黑白相间的兔子正在草丛间啃胡萝卜
提示词：在绿色的森林中，隐藏着一座白色的哥特式教堂，教堂的尖塔直指蓝色的天空，教堂周围是五彩斑斓的野花和浅黄色的草坪
（中文长文本）
支持国产全栈训推，打造数十个行业标杆案例
中国联通在国产昇腾AI基础软硬件平台上实现了元景文生图模型从微调训练到推理的一体化适配。在微调训练方面，用户可使用自定义数据集，实现从其它平台至昇腾的平滑切换；在模型推理方面，接口与Diffusers对齐，简单易用，支持单卡和多卡，单卡推理支持UNet Cache加速。
通过架构创新、中文原生语义支持、硬件适配等多项突破性成果，联通元景中文文生图模型为广大开发者提供了研发中文定制文生图模型和应用的全栈支持。该模型已在联通的多个内外部项目中赋能文创、服装、工业设计等诸多领域，支撑了中华器灵、服装大模型等数十个行业标杆案例，在生成和设计领域为企业降本增效贡献重要力量，并在全球数字经济大会、“数据要素X”大赛、白塔杯等赛事中获奖。
联通元景文生图模型赋能服装设计
联通元景文生图模型赋能文物活化
联通元景文生图模型在全球数字经济大会上获奖
中国联通积极布局战略性新兴产业和未来产业，落实“人工智能+”行动，依托算网基础设施与全国渠道覆盖优势，开展大模型基础和共性能力研发，构建元景“1+1+M”大模型体系。在基础大模型方面，已布局语言、多模态、视觉、语音等多类模型，形成一套自主可控、模态丰富、性能先进、性价比高、安全可信的元景基础模型，集约化赋能千行百业模型和应用打造，助力实体经济高质量发展。
未来，中国联通将在生成式人工智能技术上不断创新，升级模型能力，深化与国产算力的合作，为企业提供更多、更好、更智能的信息服务，持续推动国内人工智能和AIGC的国产化、智能化发展。
目前，元景文生图模型已在GitHub、Hugging Face、魔搭、始智等社区全面开源，地址如下：
GitHub：https://github.com/UnicomAI/UniT2IXL.git
HuggingFace：https://huggingface.co/UnicomAI/UniT2IXL
魔搭：https://www.modelscope.cn/UnicomAI/UniT2IXL.git
始智：https://wisemodel.cn/models/UnicomAI/UniT2IXL
-END-
科协官网｜https://kx.10010.com
投稿邮箱｜hqs-kx10010@chinaunicom.cn
来源 | 中国联通人工智能中心
编辑 | 李小龙
校审 | 赵鑫、吕新
推荐阅读
中国联通合作伙伴大会 | 中国联通发布元景系列产品
跟央视来看中国联通算力智联网、元景大模型解析下一代互联网
一起推动联通科技创新，我们携手同行！
点赞+分享+点亮“在看”，共筑科技梦想！
