构建云上AI Agent的“奥”秘

文摘 2024-05-28 21:35 上海

点击蓝字，关注我们

“我们坚信，未来AI Agent将成为推动企业业务快速增长的关键力量。” 在谈到生成式AI技术给企业带来的影响时，北京灵奥科技有限责任公司（Vanus）CEO厉启鹏如是说到。在他看来，AI Agent要具备三个核心能力：业务感知能力、业务决策能力和执行能力。

北京灵奥科技有限责任公司CEO 厉启鹏

数据成企业大模型落地挑战

不过厉启鹏也很清楚，当前，数据问题仍是企业落地大模型的核心挑战之一，这主要体现在四个方面：

其一，数据是大模型理解企业业务的核心，然而企业业务数据的类型繁多、格式杂乱，而且来源无法统一；

其二，业务数据会随着企业运营实时变化，模型需要不断学习不同来源的、持续变化的业务信息；

其三，数据隐私和大模型使用的安全合规是企业业务不能触碰的红线，企业既要让模型理解好数据，又需要做到安全合规；

其四是数据偏见和公平性问题，不同的大语言模型由于训练数据来源不同，侧重点有差异，导致模型存在偏见。企业需要评估不同模型的能力，并为不同的业务场景选择合适的模型。

这样的问题在企业中比比皆是。厉启鹏为记者列举了两个他亲历的案例：

在国内某ERP企业中，各个部门都沉淀了大量内部数据，但是跨部门知识共享的效率低下，需要花费大量时间对客服人员进行培训。同时，由于客服人员基于传统的搜索方式获取知识，响应时间长，导致用户的投诉率较高。

Vanus基于Amazon S3、数据库等云服务，帮助用户从文档、数据库、SaaS软件等多个数据源中实时抽取数据，构建了统一的企业知识库；并借助Amazon Bedrock等服务，为企业客服人员构建了AI Copilot，可以基于全域业务数据进行实时推理，为客服人员秒级提供回复建议，大大降低了客服响应时间。现在，客服人员通过AI Copilot辅助问题回复，将问题回复时间从分钟级降到了秒级。据统计，AI Copilot将客服团队的人效提高了70%，降低了客服投入的成本。

另一个案例是发生在南美州某服饰类电商企业中。该电商企业拥有两个Shopify电商独立网站，10000+ SKU。客户每天有大量关于产品、退换货、物流等问题咨询，需要很多客服人员，管理成本很高。而且，在客服人员下班后的时间里仍然有很多客户来询问，客服延时回复不仅导致客户的满意度下降，还让该企业因此错失了很多商机。

Vanus基于Amazon Bedrock、Amazon S3等云服务构建了VanChat，为网站购物者提供7*24小时及时问题回复，为企业节省了大量人力资源，提高了客户满意度。此外，通过VanChat提供的用户意图识别、产品推荐等功能，还加速了用户购买产品的进度，提升了网站的销售额。该客户因此实现了营收快速增长，上线首月的ROI就高达611%；此外，VanChat还能提供7*24小时服务，极大降低了人工成本。

上述案例中提到的Vanus AI和VanChat都是由北京灵奥科技推出的、可以帮助企业构建AI Agent的SaaS产品。

作为一家面向全球的人工智能初创企业，北京灵奥科技一直致力于推动生成式AI技术的普及，从而加速企业的商业成功。北京灵奥科技提供帮助企业构建AI Agent的SaaS平台，先后推出了Vanus Connect、Vanus AI和VanChat三款SaaS产品，目前已经服务全球30,000+用户，用户遍布电商、SaaS、金融、法律、房地产、教育、能源等行业，获得了靖亚资本、PNP等4家机构的多轮融资。

Vanus如何解决数据问题，将大模型优势和业务数据无缝结合？

那么，北京灵奥科技到底是如何解决数据问题的？

厉启鹏向记者解释到，企业构建AI应用需要三个核心组件，即大模型、向量数据库和大模型中间件。其中向量数据库是数据、知识的载体；大模型负责做业务的推理；大模型中间件则介于大模型和应用之间，可以帮助企业解决数据问题，打通大模型在企业端落地的最后一公里。

在神经网络层，Vanus Connect可以连接企业不同的数据源，实时感知企业业务事件的变化，并推送给神经中枢，然后接收神经中枢的指令去执行。

在神经中枢层，Vanus AI可以结合知识库（向量数据库）和大模型，帮助企业做出业务决策。

大模型中间件Vanus能够将大模型的优势和企业业务数据无缝结合，如提供Claude 3、Claude 2、Minimax、文心等多模型选择；实现商品数据自动同步，包括商品数据自动更新、Shopify数据自动接入、提供API接入能力、商品语料库可编辑等；可以和企业自建电商网站、Shopify网站、钉钉、飞书、企业微信等第三方应用无缝集成；还能助力企业灵活定制机器人，自定义聊天风格、欢迎词、外观颜色、快速问题等等。

北京灵奥科技已经为许多用户成功构建了电商导购机器人、企业AI员工助理、AI保险经纪人、AI房源导购等等AI Agent。

其中，电商导购机器人已经成功为生鲜、饰品、电子产品等电商领域构建了AI导购，帮助企业降低人工成本，提高客服质量，提升销售额。VanChat基于Vanus AI，专门为Shopify店主打造了销售类AI Agent，它既是Shopify店铺的销售机器人，也是消费者的AI购物助手，可以帮助电商企业将网站访客转化成付费用户。

亚马逊云科技赋能Vanus云上创新，拓展业务

值得一提的是，北京灵奥科技之所以取得现在的成绩，在很大程度上还要归功于亚马逊云科技。厉启鹏坦言：“现在整个Vanus平台都是基于亚马逊云科技构建出来的，基于亚马逊云科技的基础云服务、大语言模型和数据存储三类云服务，北京灵奥科技为企业构建的AI Agent平台服务了全球数万家用户。”

据悉，北京灵奥科技从成立之初就加入了亚马逊云科技合作伙伴网络（APN）。“作为一家初创企业，我们受益良多。它不仅推荐客户和合作伙伴等资源，还对我们进行技术赋能，加速我们的生成式AI产品进入市场。”

谈到北京灵奥科技选择亚马逊云科技作为合作伙伴的原因时，厉启鹏表示，北京灵奥科技非常感谢亚马逊云科技能够提供这么多使用简单且功能强大的云服务产品，这是合作的基础。而且，Vanus绝大部分的技术问题在亚马逊云科技的平台上都能找到答案，找到相关的云产品和强力的支持。亚马逊云科技还能提供全方位的技术服务，包含技术方案和架构师等，加速Vanus的产品落地。此外，通过亚马逊云科技合作伙伴网络（APN）提供全面的推广资源和支持，可以加速Vanus产品进入市场。

厉启鹏指出，亚马逊云科技为北京灵奥科技带来的价值主要体现在四个方面：

弹性可扩展：利用Amazon Elastic Kubernetes Service（Amazon EKS）基于网络流量的弹性扩展能力，Vanus AI构建的Agent可以根据用户业务流量平滑弹性伸缩。帮助企业平均成本降低30%，性价比提高20%。

提高系统可用性：通过Amazon DocumentDB原生的3可用区、6副本的设计，提高可用性和可靠性，可以达到不低于99.99%正常运行时间的服务等级协议（SLA）。

降低回复延时：借助Amazon Simple Storage Service（Amazon S3）及数据库高并发数据查询能力，提高了大模型上下文加载时间，同时借助亚马逊云科技全球网络节点加速能力，整体将Agent回复系统延时降低40%。

推理能力强：通过Amazon Bedrock提供的Claude模型，为Vanus平台的AI Agent提供非常强的语言理解和逻辑推理能力。

“我认为亚马逊云科技是最值得信赖的云服务提供商。”谈到数据的安全性问题时，厉启鹏告诉记者，“作为全球最大的一朵云，它有非常强大的运营经验，能够帮助我们更好地服务分布在不同区域、不同国家的客户。同时，它也是我们首选的一朵云，经过了全球最多用户的打磨，是最安全的云。”

厉启鹏还透露，未来北京灵奥科技与亚马逊云科技的合作将集中在数据库和大模型领域，如使用向量数据库，帮助企业构建知识库，同时也将继续深化大语言模型Claud 3的使用。

END

http://mp.weixin.qq.com/s?__biz=Mzg2OTg5OTc3Mw==&mid=2247492861&idx=1&sn=dd2556cfed76dfe85d3355b156583864

CBI科技在线

CBI科技在线的前身《电脑商情报》是创立于1992年3月的IT传媒。旗下CBINews.com是企业级IT渠道垂直网站。我们致力于为您提供企业级IT市场的渠道新闻资讯和原创深度报道。

最新文章

社交媒体大数据如何让出海更精准更智能？

IBM员工向上管理：老大你越界了

助力产业低碳发展英特尔携手新华三（H3C）打造绿色计算机标杆

异构智能计算产业联盟走进吉利共探异构智算新未来

面对AI大潮，如何建成AI数据中心，让企业AI战略落地？

山特 40 周年：征程一往无前，初心历久弥坚

《CXO数智话》：AI时代，企业到底需要怎样的算力基础设施？

纷享销客CTO林松：如何打造智能型CRM，为企业全面提升价值

磨剑十余载，奥兰德品牌新品首发，“爆款 UPS”抢跑市场

《CXO数智话》：科技企业出海如何在全球布局？

为什么说Creo 11是提升企业设计研发效率的利器？

JFrog深耕中国市场，打造安全软件供应链

科技x物流如何为客户打造量身定制的物流系统？

核心多、主频高、更省钱，这几款戴尔服务器的魅力你Get到了吗？

求臻医学x戴尔科技：如何让数智化基因检测造福更多肿瘤患者？

中小企业智能化转型｜联想“三步”闭环，向新而行

存储在加快从构想到实现创新过程中的关键性作用

构建云上AI Agent的“奥”秘

《CXO数智话》：人形机器人的进化论

《CXO数智话》：从新质生产力看企业创新管理

创新的康普，绿色的连接

硬核科技赋能，铸就体育赛事极致观赛体验

《CXO数智话》：专精特新申报流程和策略有哪些？

算力换新 AI升级——AI时代算力基础设施的革新与创新

AI算力需求飙升功耗也猛增，数据中心该如何降温——戴尔科技携手英特尔共建绿色数据中心破解能效难题

技术创新与生态建设并进，紫光云助力政企智慧跃迁

戴尔 Precision带来算力狂飙 Stable Diffusion助力创意爆表

《CXO数智话》：中小企业该如何申报专精特新？

戴尔科技×影为医疗 | 如何在县级医院做一台三甲级别的手术？

AI大潮之下，我们需要什么样的数智底座？

杏树林：找到既能陪伴成长又能自主可控的CRM

真正可以挑战GPT4的大规模已在159国上线

《CXO数智话》：数字化如何为五征集团“智”造新引擎

“2023人工智能创新发展论坛”成功举办

【立即预约直播】探秘联想问天WR3220 G2服务器新品

戴尔Precision工作站助力人形机器人的“具身智能”进化

合作共赢，加速企业数字化

Dell PowerEdge服务器家族迎来新成员，为中小企业提供强大算力

《CXO数智话》：AIGC如何颠覆教育和出版行业？

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉