首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

大模型落地，如何跨过数据这道坎？

科技 2024-05-21 12:29 北京

随着大模型从理论探索走向实际应用，大模型的落地正在考验千千万万的企业。首要且核心的关注点，无疑是从数据做起。

数据，作为大模型的“燃料”，其质量、多样性与规模直接决定了大模型性能的天花板。因此，建立一套高效、可靠的数据处理流程，确保数据的质量与合规性，成为了大模型落地的基石。

然而，构建大模型的数据能力并不容易。如何找到合适的存储来承载海量数据？如何清洗加工原始数据？如何有效地进行数据治理？如何将现有数据快速结合模型产生独特价值？

种种问题横亘在企业和大模型之间，成为生成式AI时代的数据挑战。

大模型时代的数据挑战

如今基础大模型遍地开花，开源大模型更是随处可见，每个企业都能访问相同的基础大模型，但能够利用自己的数据构建生成式AI应用的企业却并不多见。

很重要的一个原因在于，从数据利用到大模型应用，中间还需要大量的准备工作。

一是，企业基于自身数据去定制基础模型，不同的应用场景需要不同的数据处理方式。

比如，在检索增强生成(RAG)场景中，企业将自身的知识库、数据库等与生成式AI模型相结合，在生成过程中需要实时检索和利用企业内部的相关数据，从而提高生成结果的准确性、一致性和信息量。

RAG需要GB级企业数据，数据来源是企业内部文档库、数据库、数据仓库、知识图谱。技术要求上，RAG需要向量检索来迅速查找让模型能快速准确地进行响应。

在微调场景中，企业使用与目标任务相关的数据对模型进行进一步训练，以提高其在特定任务上的性能。

微调需要GB级人工标的高质量数据，数据来源为私域知识，技术上要求选取和检验符合业务需求的高质量数据集。

在持续预训练场景中，企业利用自身专有数据(如内部文档、客户记录等)对模型进行持续预训练。这种持续预训练门槛较高、成本较大，但可以得到一个企业自身定制的行业大模型。

持续预训练需要TB级未标的原始数据，数据来源为公开的数据集或企业各部门的数据，技术上要求大规模、分布式清洗加工原始数据集的能力。

二是，企业需要具备强大的处理新数据的能力，才能有效构建生成式AI应用。

对生成式AI应用程序而言，基础模型频繁调用将会导致成本的增加和响应的延迟。相对于此前数据库调用通常毫秒级甚至微秒级的响应时间，基础模型每次调用时长往往达到秒级。此外，每次调用基础模型也会增加成本。

因此，加快数据处理速度，才能有效地在调用大模型时降本增效。

打造生成式AI时代的数据基座

面对大模型构建中的数据存储、清洗、加工、查询、调用等各种挑战，企业是否有高效的数据解决方案来应对？

首先，针对大模型的微调、预训练，企业需要找到合适的存储来承载海量数据，清洗加工原始数据为高质量数据集，以及对整个组织内数据的发现编目治理。

因此，在数据存储方面，扩展性和响应速度是关键。

一方面，需要能够承载海量数据；另一方面，存储性能必须跟上计算资源——避免因为数据传输瓶颈造成高昂计算资源的浪费，或是吞吐量瓶颈导致更长的训练时间。

比如，亚马逊云科技上超过20万个数据湖都使用Amazon S3，它支持广泛的数据协议，能够轻松应对各种数据类型，还支持智能分层以降低训练成本，其安全和功能都满足微调和预训练基础模型对数据存储上的要求。

专门构建的文件存储服务Amazon FSx for Lustre则能够提供亚毫秒延迟和数百万IOPS的吞吐性能，能够进一步加快模型优化的速度。

在数据清洗方面，企业需要灵活的工具来完成数据清理、去重、乃至分词的操作，能够专注于生成式AI业务创新。

比如，Amazon EMR serverless采用无服务器架构，能够帮助企业运行任何规模的分析工作负载，自动扩展功能可在几秒钟内调整资源大小，以满足不断变化的数据量和处理要求。

而Amazon Glue则是一个简单可扩展的无服务器数据集成服务，可以轻松快速地完成微调或预训练模型的数据准备工作。

在数据治理方面，企业难以在多个账户和区域中查找数据，也缺乏有效的数据治理工具。因此，一个能够跨组织边界大规模地发现、共享和管理数据的统一数据管理平台，成为企业的必选项。

其次，针对大模型RAG场景，企业需要向量检索来迅速查找，让模型能快速准确地进行响应。

这其中的技术关键是向量嵌入（vector embeddings），它通过将数据转换为向量并存储到向量数据库中，从而将语义的关联性转化为向量间的数学距离问题，以实现内容的关联性计算。

理想的情况是将向量搜索和数据存储结合在一起，这样企业就能将向量检索和现有数据关联起来，并得到更快的体验。

比如，亚马逊云科技就专门构建了图数据库Amazon Neptune，并为其推出了分析数据库引擎，能够提升80倍的图数据分析速度，使用内置算法可在几秒钟分析数百亿个连接。通过将图和向量数据一直存储能够实现更快的向量搜索。

最后，有效处理生成式AI应用的新数据，企业能够降低模型频繁调用成本并提升性能。

很多企业在推出生成式AI应用后会发现，基础大模型的频繁调用会导致成本的增加和响应的延迟。但如果将之前问答生成的新数据存入缓存，不调用模型，而直接通过缓存给出回答，就能够减少模型调用，还可以节约成本。

Amazon Memory DB内存数据库就是这样一种工具，能够存储数百万个向量，只需要几毫秒的响应时间，就能够以99%的召回率实现每秒百万次的查询性能。

结语

在大模型快速爆发的当下，企业缺的并不是大模型本身，而是以自身需求为中心去构建大模型应用，而这个构建的过程并不容易。

正如亚马逊云科技大中华区产品部总经理陈晓建所说：“企业需要的是懂业务、懂用户的生成式AI应用，而打造这样的应用需要从数据做起。”

亚马逊云科技提供的正是企业构建生成式AI应用程序所需的一系列数据功能，能够在实现简化开发的同时确保隐私性和安全性。

事实上，亚马逊云科技不仅能提供数据工具，在云基础设施服务、模型层服务、应用层服务都提供了大量的服务于生成式AI的工具。

通过这一系列从底层到应用层的创新，亚马逊云科技的目标是让企业内的任何开发人员都能够自由构建生成式AI应用，而无需关注复杂的机器学习或底层基础设施。

当服务商解决好大模型落地的“最后几公里”，那么大模型走进千行百业将不再是一句口号。

相关阅读

新趋势下，国产数据库或“春山可望”

两会热议的数据要素，如何拥抱新技术？

从数据到生成式AI，是该重新思考风险的时候了

AI大模型疯长，存储扛住了吗？

【科技云报道原创】

转载请注明“科技云报道”并附本文链接

http://mp.weixin.qq.com/s?__biz=MzUyNDE4NDE1Mg==&mid=2247501663&idx=1&sn=e0a5149134ae8f781c13d7b29bee3314

科技云报到

云计算、网络安全、人工智能、大数据、区块链领域垂直新媒体，专注原创的企业级IT内容行家

最新文章

TA能“跑赢大盘”，靠的竟是这三点！

数字化转型，从不确定性到确定性的关键路径

云数据库“再进化”，OB Cloud如何打造云时代的数据底座？

大模型时代下，向量数据库的野望

云服务的中场战事，从AI应用开始

如何让智能客服像真人一样对话？容联七陌揭秘：多Agent大模型

从“可用”到“好用”，百度智能云如何做大模型的“超级工厂”？

以数据“价值三角”为擎，探索数据治理实践路径

有“韧性”才能更“任性”，云韧性构筑业务最后一道防线

从“N 号房”看Deepfake乱象，如何证明“我”不是我？

天地一体，电信安全织牢智能时代“安全网”

从云计算到AI大模型，云巨头生态革命迈出关键一步

大模型的“掘金卖铲”生意，AI Infra的最佳机会来了？

“大模型+机器人”，具身智能将开启“智械时代”

大模型引领技术浪潮，AI安全治理面临“大考”

算网筑基AI注智，中国联通如何讲出AI时代的“新故事”？

将技术普惠进行到底，百度智能云云原生数据库GaiaDB来啦！

产业为根大模型应用为擎，容联云推动企业营销服场景重塑

人工智能“顶流”齐聚WAIC 2024，他们都做了什么？

XDR+GPT，高校安全运营建设的最优解

推进工业新质生产力，机器人有望成为AI下一个“新引擎”？

“元年”之后，生成式AI将走向何方？

客服中心如何营销服一体化？容犀Desk上大分！

从“实验室”到“生产线”，2024年GenAI迎来行业应用拐点

大模型风起云涌，向量数据库终有“用武之地”？

AGI渐行渐近，该加速还是要踩刹车？

大模型“以厘计价”，谁能扛住价格战？

大模型落地，如何跨过数据这道坎？

何许人也？敢把大模型价格“打骨折”？

国产桌面操作系统能“平替”Windows吗？

59.5%增速拔得头筹，超云服务器逆势飞扬的秘诀

大模型加持，艺赛旗“智能超自动化平台”成色几何？

别拿「豆包」不当干粮，新晋AI顶流好猛！

从亚运到奥运，大型国际赛事共赴“云端”

走入商业化拐点，大模型“开箱即用”或突破行业困局

AIGC掀算力需求革命，边缘计算将不再“边缘”

“老三样”不管用了，网络安全要靠啥？

AI大模型疯长，存储扛住了吗？

大模型加持后，数字人“更像人”了吗？

从“奇点”到“大爆炸”，生成式AI开启“十年周期”

卷完参数卷应用，大模型落地有眉目了？

“淘金”东南亚和“一带一路”，中国数字技术加速出海

从“算力核弹”到生成式AI，新纪元还有多远？

重构销售话术和知识库，容联云找到了大模型的“钉子”

造完“大模型”，“具身智能”将引领AI下一个浪潮？

第五次工业革命，中国AI企业如何打造新质生产力？

“苟”了多年的国产操作系统，开始“逆袭”？

两会热议的数据要素，如何拥抱新技术？

大模型产业落地，安全运营能否迎来“自动驾驶”时刻？

阿里云降价，京东云跟进，谁能打赢云计算价格战？

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉