优刻得模型微调服务，加速AIGC行业场景应用

科技 2024-10-22 10:53 上海

近日，优刻得受邀做客第一财经广播《魔都财经咖啡馆》栏目的直播访谈，本期主题“创新发展｜对话正在做AIGC应用的人”。

优刻得架构技术中心总监刘华先生，从客户场景应用及技术专业视角，就优刻得在AIGC业务领域的战略布局与最新进展，进行了内容分享。

以下为现场实录精选：

优刻得作为国内首家云计算科创板上市公司，最近一段时间在发展新质生产力方面主要聚焦哪些领域？

A：优刻得一直是国家政策的积极响应者和行动者，在新质生产力方面，公司主要在人工智能的算力底座、推进数据安全合规的流通等方面做了一系列的工作。

国家一直强调“算力是数字经济时代的新质生产力”，优刻得作为中立云计算企业，在构建算力底座与数据管理方面具有显著优势。

就拿算力底座这件事情来说，优刻得两大自建数据中心，非常适合大模型的训练和推理，比如西部的乌兰察布数据中心。针对AIGC场景，优刻得进行了多项优化：首先是高电机柜改造，因为算力设备功率都很大，比如A800峰值6500W、H800峰值能到10000W，因此就需要对整套供电体系进行升级和改造。

其次，网络性能的提升，传统的网络2个节点互联100G就很大了，而算力时代，一般都需要到3.2T。这里主要的网络技术就是ROCE和IB两个路线，要把千卡集群很好连接起来，并实现稳定的工作，这里的技术挑战非常大。

另外，大模型训练过中，高性能并行存储也至关重要，需要同时支持数百台至数千台节点同时读写，通过利用GDS等技术实现显卡直接读取，缩短读取时间，提高读写吞吐能力，满足大模型训练的大量数据存储要求。

最后，如何管理好训练任务，管理异构资源，节约训练调优成本，根据负载动态分配不同任务，还需要一套易用的训练框架。优刻得自研的“孔明”智算平台就是为解决这一系列的问题而设计的。

当然，在算力资源方面，优刻得数据中心配备了多种主流算力卡，如A800、H20、推理卡等，截至2024年5月中旬，已官宣算力达4700P，并持续增长。

优刻得还推出了“算力合伙人”计划。我们看到一些企业或者单位拥有算力，但是由于上面的技术挑战或者规模不够大等原因，并没有很好地利用起来。为了提升算力利用率与价值，优刻得还推出“算力合伙人”计划，旨在连接拥有但未充分利用算力的企业与单位，通过精准匹配需求与供给，推动整体业务。我们也希望有算力有数据的合作伙伴和我们一起做大做强这个事。

优刻得作为云计算厂商，会以怎么样一种方式加入AIGC的市场竞争？公司正在做的模型微调服务是怎么回事儿，能否通俗的介绍一下？

A：优刻得全面介入大模型的全流程，提供一站式全链路服务，核心工作便是围绕人工智能的数据、算力与算法三大要素。

数据方面，以Sora多模态训练为例，涉及500T训练数据及500P原始数据，要求稳定且经济的存储方案。优刻得凭借12年服务数万家企业的经验，拥有成熟的对象存储方案，满足PB级存储需求，并通过BIGDATA产品系列助力数据清洗与标注。

算力方面，优刻得也是深度参与，实施DCBA战略。D指数据中心，如内蒙古乌兰察布数据中心专注模型训练、HPC及渲染等高性能业务，充分利用西部成本优势；上海青浦数据中心则凭借低延迟网络，适合推理、金融高频交易等场景。C代表计算，提供各类算力卡，并联合国内芯片公司推出国产千卡智算集群，支持国产千亿级大模型研发与验证。

算法上，优刻得主要做微调工作，包括LLM的微调和图片微调。优刻得携手多家企业成功落地了模型微调的案例，解决效率与成本的问题。

这里简单介绍下模型微调。比如，通用模型A之前写文章很不错，但让它写财经方面的文章，对术语这些处理不好，就不像是内行写的。那么我们就通过财经的数据进行再训练。让他具备写财经文章的能力，这个过程就叫微调。微调的本质就是通过训练的方法改变一部分大模型的参数，让他具备新的行业应用能力。所以微调这里，也分了全量微调和Lora微调，Lora微调就是对一部分参数调整。

请问优刻得在行业大模型领域怎么发力呢？最近看到一篇报道，优刻得研发了一个为生物医药行业定制的“人工智能翻译平台”，是如何发现这样的痛点可以用AIGC方法来解决的？

A：我们看到，大模型出来以后普及非常快。各行各业也都在拥抱大模型，所以大家即兴奋又焦虑，兴奋的是大模型可能重塑生产力关系，都希望通过它来提升效率和降低成本，焦虑的是，竞争对手若先行一步，自己将如何应对。

优刻得已经服务了6万多家企业客户，包含了互联网、医药、金融、工业等多个领域。优刻得始终与客户保持紧密沟通，密切关注他们的实际问题，只要是在我们能力象限中的，就想办法帮客户解决。优刻得也尤为重视客户需求的转化，因此，我们始终秉持着“客户的需求就是我们下一个产品”的产品理念。

在此背景下，我们在上半年接触到了某生物企业，他们的痛点就是每年在翻译上要花几百万，不光是贵、而且要的急，就经常加班干活，问我们是否有办法解决这个问题。

经过评估，我们发现这正是典型的大模型微调的场景。通过微调，让大模型具备医疗行业的专业知识，从而胜任专业的医疗领域翻译工作。幸运的是，客户也拥有丰富的领域数据。于是，我们迅速合作开发了一个DEMO，实践下来效果还不错，这进一步验证了我们的方向是正确的。

随后，我们利用300多万条语料数据，进行了100多轮的模型训练。测试结果显示，微调后的模型在BLEU评分上达到了50分以上，远超及格线30分，甚至在某些方面超越了人类翻译的水平。同时，我们还协助客户对接了内部的一些系统，使得翻译效率和质量实现了100%的提升，并帮助他们节约了70%的成本。当然，我们也十分期待，与更多有类似痛点的公司或数据公司合作，共同推出更多行业大模型，让大模型能够真正落地千行百业。

美国当地时间10月10日晚上，马斯克在美国发布了机器人出租车Robotaxi，这意味这什么？AIGC在机器人出租车上有没有落地的场景？是否需要开发专门的行业大模型？

A：这个确实很有意思，正如马斯克所说，Robotaxi可以很好解决两个问题：1.时间的高效利用。就当下的生活场景而言，堵车、停车浪费了人类大量的时间。2.停车空间的优化。不再需要浪费城市宝贵的地方修建硕大的停车场，机器人出租车白天在城区中工作，晚上自动开到郊区去停车。

AIGC在机器人与出租车领域的应用前景无疑是非常广阔的。比如，在机器人身上，就是大模型+小模型+机器人控制来实现的，如今更是进化到了大视觉语言模型（VLM）+视觉语言行动模型（VLA）+ 分层实时控制架构（RT-H），特斯拉的FSD（全自动驾驶）系统和萝卜快跑也已经实现。行业内普遍认同，机器人及汽车是承载大模型的最佳载体之一。

一般来说，AIGC在机器人出租车上落地是需要专业的大模型的。因为功率的限制，越大的模型需要的算力越大，能耗就越大，如何在算力与能耗之间找到平衡点成为了一个亟待解决的问题，所以要做取舍。

另外，我们也看到了多模态大模型的兴起与融合。无论是机器人、智能驾驶，还是当前开源的大模型，都是多模态的大模型，也就是在做世界模型，深入理解物理世界的规则。可以预见，当模型足够强大时，其应用场景将不再受限，能够广泛应用于各个领域，做什么都可以。

扫码咨询优刻得AIGC解决方案

热文回顾

1、医药行业的垂直大模型来了

2、“京津冀蒙”算力供给走廊，首批接入！

3、兰州城市学院上云记

4、替代VMware的靠谱方法，终于找到了

http://mp.weixin.qq.com/s?__biz=MjM5NDE0MjI4MA==&mid=2656322056&idx=1&sn=c7ca620d77495a7555451b0c7948db2f

优刻得云计算

UCloud优刻得，中国第一家云计算科创板上市公司，服务近5万家消费用户，提供包含公有云、私有云、混合云的全局解决方案。应需而为、快速响应，产品免费试用。立即注册：https://passport.ucloud.cn/#register

最新文章

出海这条路，有优刻得全球云服务

连续两年！CSA云安全联盟优秀会员单位

弹性算力与高性能存储，助力芯片国产化加速破局

这次角逐人工智能先锋！

“芯时代”的高效能存储方案

大模型技术实践（六）｜优刻得AI推理平台升级高性能推理服务框架

优刻得算力服务，让你的AI业务部署灵活又安全

进博会｜优刻得与世界共享数字新机遇

以科技创新助力人民城市建设

优刻得与数新智能达成多云数智生态合作

@所有人你有一份超低价上云攻略请查收！

AI智能体都进化到这样了？！！

优刻得2024三季报：综合毛利率持续稳步提升！

国家数据局成立一周年在即，数据要素正发挥生产力价值

优刻得模型微调服务，加速AIGC行业场景应用

优刻得金融数字底座亮相2024双态IT大会

替代VMware的靠谱方法，终于找到了！

兰州城市学院上云记

和中国移动一起拥抱“AI+”

优刻得安全屋保障公共数据资源开发利用

向“新”布局，用AIGC引领新质生产力

携手共鉴河南百亿基金启航，打造国家级算力产业高地

坚定信心，乘势而上！

云计算出海，越来越国际范儿

一期一会，移动全球合作伙伴大会见！

优刻得：加速人工智能与云产业生态融合

优刻得2024国庆假期服务安排

“京津冀蒙”算力供给走廊，首批接入！

优刻得与宾果智能达成战略合作

医药行业的垂直大模型来了

当建筑数据「上云」之后…

AI手机时代，我们准备好了！

时空数据上云，这很City

数据入表+安全流通=更有价值的商业数据

加速布局智算产业链生态，助推大模型应用落地

绿电比例80%，乌兰察布智算中心逐“绿”而行

和大湾区的朋友聊聊一体化算力服务平台

开机即玩！优刻得《黑神话：悟空》专属套餐，助你直面天命！

《黑神话：悟空》免费送！

数据仓库→湖仓一体，实时大数据平台这样建

存储成本降低40%，优刻得高性能块存储新升级

你的第一张社交名片，我们用AI帮你生成

奥运季，从智慧体育开始！

优刻得专属云合作伙伴招募启动！

容器镜像加速，让你的AI应用尽享丝滑！

优刻得与蔚星科技达成战略合作，打造航天产业“天基大脑”

国产AI PC崛起，"此芯P1"来了！

优刻得赴马来西亚参加“数字扬帆”出海交流活动

优刻得参加工信部中非数字合作论坛

Llama 3.1模型来袭，火速get“开源巨无霸”！

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉