IPP评论是国家高端智库华南理工大学公共政策研究院（IPP）官方微信平台。
9月21日至22日，以“人工智能与未来世界”为主题的华南理工大学公共政策研究院（简称“IPP”）第十一届国际会议在广州南沙召开。在分议题“亚洲的AI发展”中，云从科技联合创始人姚志强先生发表了题为“人工智能新范式引领企业智能变革”的演讲。姚志强分享了云从科技在大模型应用上的创新实践。他认为，人工智能以及大模型技术要实现落地，需要结合具体场景，通过灵活的架构设计和创新思维，实现技术和产品的有机结合。很高兴有机会来到IPP国际会议，分享一些我们在产业落地以及如何使用AI大模型方面的经验。现如今，OpenAI打开了大模型的新世界大门，确实很令人震撼。我相信到这个时间点，应该没有人怀疑AGI（通用人工智能）的时代一定会到来。现在大家会有一个普遍感受，那就是技术发展的前景似乎很清晰，但是在路径上又有很多问题，特别在落地转化的过程中有很多“叫好不叫座”的现象。对于企业来说，投入了很多成本，但其实没有赚到钱，最后发现赚到钱的人都是卖卡或者卖算力的。首先，做信息化建设和相关硬件的企业正在经历很大的改变，原先我们企业大致遵循的是（见下图）左侧的流程化过程——设定好具体环节，围绕人去做事。现在大模型出现带来了一个全新的思考方式。如果我们将智能体看作是“数字化的人”，就可以发现在未来，它可以像人一样思考、执行，而不再需要提前设定。但在实际落地中我们又发现了很多问题，比如说现在讲的大语言模型，似乎除了被用于一些非严肃的娱乐应用之外，好像并没有在哪个方向上给我们带来了巨大变化。很多企业投身于训练大语言模型，像国内比较流行刷各种榜单。但最后回到实践落地中，依旧面临很多问题。这因而形成了很负面的一种状况——投入很多但是收获很少。有些企业有形成了一种观念：我们是做技术的，所以我一定要掌握最先进的技术，开展技术基础开发。但这里有一个疑问，我们到底是做技术的公司，还是做产品的公司？很多企业把这件事给混淆了，因为大部分企业实际上都是做产品的公司。我们一定要做基础科学研发吗？还是说我们其实更擅长把技术应用好？我觉得后者可能是做产品的企业更应该关注的一件事。姚志强先生在演讲中介绍云从科技在AI大模型运用中的经验。技术在不断迭代，特别是在OpenAI的引领下，我们则在后面不断追赶的过程中，发现自研成本非常高，但是我们把太多资源投入在跟随上，在产品创新领域投入不足。也就是说，没有太多的人研究目前我们在产品落地方面应该怎么做。这就导致一个很奇怪的现象——学术上很热闹，大家买卡也很疯狂，但最后核算下来基本上都在亏。所以现在有人开始唱悲观的论调，觉得未来的AI大模型不会有前途。我认为，大模型技术或者说未来的AGI是一定有前途的，只是企业层面可能面临困难。云从科技是一家做视觉起家的公司，我就举一个视觉的例子，来看一看到底问题出在哪里。![]()
云从科技公司通过像人一样思考和工作的人机协同操作系统（CWOS），基于数据要素进行整合视觉、语音、NLP等多个领域大模型的实践。首先回顾一下，视觉大模型出现之前我们是怎么做的。在行为、安全生产等各种场景中，我们通过视觉监控这种形式检测我们的不合规动作、危险行为以及设备安全。在现实生活生产中这种场景非常之多，非常复杂，我们叫做“长尾算法”。
我们发现，如果是以前的小模型算法，一般的实践路径都是先确定问题、采集数据，再做标注、做训练，到现场再去实践，发现不行再回过头再采集数据，再调整参数模型，直到客户接受为止。但是在经历这么长一个周期后，我们却发现产品很难满足实际生产需要，离客户的心理预期也差得很远。不常见的、复杂的场景依赖于精细化的规则和分析。图源：演讲嘉宾PPT其次，这个周期非常长，每一次都是完整循环，成本非常高，在很多应用中只能选择特别重要的事情做一下，很多需求就放弃了。回到最传统的做法，就是用人来看这些视频，可想而知效果有多差，因为随着生产活动越来越复杂，设备越来越精密，需要做的事情也就越来越多，大型企业的安全规则都非常多，真正想把这些事情监控起来非常难。所以结果就是，在没有出现问题时，大家觉得所有系统都是正常的，一旦出事了，就发现系统全是漏洞。大模型出现之后，我们发现它首先解决了这一问题。大模型属于预训练模型，事先已经解决了数据采集问题。它是一个有冷启动功能的系统，不需要在事先采集很多数据重新训练模型。当然，实际中我们还是要采集一些数据，但是不会像以前（使用小模型）那样采集大量数据。对企业的产品设计来说，大模型在降低成本的同时，又带来了另外一个严重问题——参数规模巨大。这就造成，我们在训练的过程中可能成本下降了，但是使用的时候成本又上升了。如果用大模型实时处理视频流，这在当前几乎是不可想象的。实际解决方案的思路比较简单。首先，人做视觉监控判断时，我们不是所有时候都集中注意力，首先是扫一眼，大概会有奇怪的事、引起警觉的事，我们才会仔细分辨。第一层是传统做法，也就是检测扫描。这个监测基本上还是用以前的小模型。只要设计比较好的阈值，小模型可以把大多数有风险的可能性全部过滤出来，也就是说接下来只要在这些可能性中做更好的甄别就可以了。通过多模态AI技术系统，对图像和事件进行识别、解析，提高研判精度。在第一步中，小模型的成本、速度基本可以满足我们的需求，所以有多少实时视频都没有问题，但是小模型的性能较差，如果阈值调得很低，很多情况被它过滤了，就会产生很多的虚警，这些虚警不是真正的风险，只是疑似风险，这会让做最终判断的人非常疲劳。所以在第二步中，我们用视觉大模型，把整个画面或者说连续的几张图做语义或者场景解析，翻译成语言，再用语言大模型对语义进行理解。如此一来，我们就知道具体精确动作，是不是操作规程里允许/不允许的行为。这一套流程让我们很好解决了小模型时代解决不了的问题，克服了大模型无法实时、成本过高的问题。![]()
姚志强先生回应现场观众提问通常，用视觉区分漏油与水渍非常困难。但是有了大模型，我们发现有一个非常好的解决办法，就是让智能体去查一下前两天的天气，是否有降雨？以此相对较准地判断出来到底是水渍还是漏油。我想表达的是，（上述案例）虽然看起来用了很多工程技巧，采取了一些折中的办法，但是背后蕴含的理念仍然是让机器像人一样思考。我们会发现，未来的系统很可能会是智能体集合，想要做什么事或者完成什么任务，只要把目标告诉它，它就能以目标为驱动，自动调用更多智能体。上面提到的语言大模型可以理解为一个扮演指挥、管理角色的智能体，而具体视觉的小模型智能体，则是分工协作、负责执行的角色。只是在这里我们还停留在比较初级的层面，并没有让系统做到像人一样自我学习、自我升级，在整个系统里，也一定还会有错误。我们需要通过反馈继续学习，继续提升智能体的性能。未来模式已经彻底改变了，只是说路还是要一步一步走。文稿整理｜周浩锴
往期推荐
郑永年：AI假装是人类，中美怎么办？｜IPP国际会议
IPP国际会议｜蒋余浩：中国人工智能创新发展路径研究——基于“非线性创新观”的探索
IPP国际会议｜孟维瞻：大国人工智能竞争如何塑造美国的政治变化？
华南理工大学公共政策研究院（IPP）是一个独立、非营利性的知识创新与公共政策研究平台。IPP围绕中国的体制改革、社会政策、中国话语权与国际关系等开展一系列的研究工作，并在此基础上形成知识创新和政策咨询协调发展的良好格局。IPP的愿景是打造开放式的知识创新和政策研究平台，成为领先世界的中国智库。
![]()
