▼
8月16-17日即将于北京举办的“AI+研发数字峰会（AiDD）”，特邀澜舟科技合伙人、算法&应用VP马永亮老师担任《AI原生应用开发》分论坛联合出品人。
马永亮老师是哈尔滨工业大学计算机硕士。曾就职于阿里、微软等公司，在微软工作十余年, 担任微软必应搜索首席开发经理，具有丰富的研发经验。目前负责澜舟的大模型技术和应用落地, 包括 RAG、搜索、问答、报告生成、视频会议分析等。
为进一步探究大模型应用规模化落地的现状、困难与发展前景等大家普遍关心的热门话题，AiDD峰会对话了马永亮老师，围绕上述话题进行了深度沟通与探讨，并整理出如下文章内容。
▼
AiDD：大模型技术或者说AI2.0，相比于上一代AI1.0的小模型，最大突破点是什么？
马永亮：被广泛关注的大模型的技术突破有不少，比如ChatGPT推出时大家都惊叹于它的对话能力，这种对话能力中体现的对意图、上下文、多轮的理解能力跟上一代模型比有明显的突破。再有，大模型涌现出的逻辑推理的能力跟AI1.0时代比也是突破性的，包括近期关注度比较多的多模态下的模型能力文本、视频、音频统一在一个大模型中，表现出很强的交互能力，这也是具有突破性的。这些方面的突破，关注的角度是独立的应用能力和模型能力。第一，大模型的通用性和泛化性，一个模型具备多种能力而且这些能力在比较广泛的领域都能表现得不错，这在AI1.0时代是不可想象的。第二，模型能力的构建门槛显著降低了，大模型对自然语言指令的理解和跟随有很强的能力，人们可以通过自然语言去"调用"大模型的能力，实现模型的定制，这在AI1.0时代是不可想象的。第三，数据生成能力。数据是AI的核心，针对应用数据的作用更加重要。X->Y这是数据最抽象的形式，Y是标注，有的学习算法需要，有的学习算法不需要，X是原始数据，是人类社会各种活动产生的数据，是进行学习必须的。典型的比如在互联网上的各种文本、图片、视频等等数据。过往的AI技术，在生成Y方面有一定能力，但是大模型不仅在生成Y上表现更好，更为重要的是它能比较高质量的生成X，这是在AI1.0时代不可想象的。这三个在AI1.0时代不具备的能力，也是AI1.0没有像移动互联网，互联网、数据库、云计算、计算机、大规模集成电路等技术一样对社会整体产生广泛影响的关键原因。大模型的这三点突破有望使得人工智能发展成为一个社会底层基础设施技术，从而推动AI全面的产业化。
AiDD：大模型要进一步发展，目前面临的最大挑战是什么？
马永亮：挑战很多，安全性，伦理，成本，数据枯竭，大公司竞争导致的技术封闭等等，我认最重要的挑战有两个：技术上的发展，最大的挑战是Scaling Law主导了大模型发展的路径，造成了能源、计算资源、数据等资源的利用率边际效用在下降，这当然是一个值得奔赴的方向，但是这是众多方向中的一个，并且需要大量资源。这最大程度上利用了机器的能力，但是局限了人的力量的发挥。很多在过去的重要技术发展中起到不可或缺作用的力量，例如中小创业公司、科研机构、高校，他们中的大多数没有足够的机器和数据资源进行探索和实验，这在一定程度上会局限当今的发展，同时大家的注意力，因为媒体的宣传和商业化的推广，也被都吸引到Scaling Law这样一个方向上，其他方向上的研发面临投入不足的问题。产业上的发展，最大的挑战是进一步降低定制、优化大模型能力的门槛。当前大模型还是不能稳定的完成一些有难度任务，而这样的任务是AI落地千行百业的基础，完成这些任务，需要对大模型进行微调，做CoT，数据合成，做RAG，Agent，工具调用等大模型应用开发框架，这些技术依然是需要研发工程师有大模型相关的模型、算法和工程的能力。通过降低这些门槛，让大模型能够在更广阔的方位内落地，产生价值，这样才能反哺大模型技术的研发，给大模型技术的研发提出新的问题方向，为大模型未来的应用前景提供更广阔的空间。
AiDD：大模型规模化落地，AI产业化的关键是什么？
马永亮：要想让AI技术成为人类社会的底层基础设施，意味着千行百业，万千场景都要被AI深入影响。我有一个AI产业化象限的分析工具，它有三个维度：效果、人力、门槛。效果很好理解，效果上一定是满足要求的基础上越高越好。人力，需要多少人力资源。门槛，需要具备什么样专业能力的人。在这个象限中有几个重要的点。第一点，我称之为成本之殇，这个点是门槛高，人力多，效果好。人力多+门槛高，成本高企，难以规模化。第二点，互联网平台模式，门槛高+人力少。互联网平台的对AI专业人才的要求比较高这个都能理解，人力少怎么理解？第一，互联网公司的人数一般在几千到几万，更多一点的在十几万。这里面当然有一定比例的专业技术人员，但是不管怎样，和赋能千行百业需要的人员比起来肯定是少的。第二，用户数和营收规模，以搜索引擎为例，服务的用户数在几亿到几十亿，年营收在几百亿甚至上千亿美元。跟这两个规模比起来，人数也是少的。对于互联网平台类性的企业，它能接受门槛很高的问题，因为他有规模效用，高门槛的成本可以轻松被规模摊薄。第三，是终极AGI，这个点上人力少、门槛低、效果好。因为AGI实现后，本质上工作已经不需要人干了，只要把最终的需求交给AGI，它就能完成。所以人也少、也不需要清楚AI技术原理，门槛就很低了。AGI能不能达成是个时间、技术和人类定位的终极问题，我没有答案，但是在当前这代人的时间尺度上看，真正的AGI还有很多障碍，我们要有Plan B。第四，我称之为AI产业化的起点，我认为的Plan B，人力多，门槛低，效果好。这基于几个判断，首先千行百业，万千场景，是不是一个很通用的大模型就能够解决？在终极AGI中可以，现在不行，可预见的未来也不行，那么就需要大量的AI产业从业人员。大量的人员，如果门槛很高，那就又变成了"成本之殇"。所以一定需要一个门槛低、人力能够得到大量供给的条件。当前全球大概有2600万~2900万的软件开发人员，上限接近3000万，而且还在增加。他们中的绝大多数都不是从事AI能力研发的工程师，如果这3000万人，除了能做传统意义的软件开发，也能够为AI相关的需求进行AI能力的定制和优化，那么支持千行百业的AI落地就成为可能了，就像这些软件工程师今天正在或者已经为千行百业开发了大量的传统应用，这些传统应用有相似的底层技术，但是从应用角度看又有各种区别，各种定制的需求的体现，软件开发产业今天就是一个这样的低门槛、多人力的模式。所以，大模型规模化落地，AI产业化的关键是能不能把AI落地的门槛降低，降低到可以被3000万从业人员掌握。
AiDD：大模型应用ToB和ToC的落地逻辑有哪些不同？
马永亮：大模型落地有3个关键的要素，这3个要素上ToB和ToC都有一些差异。ToC和ToB在技术上都要满足效果的要求，效果和体验不好都不行。另外一个重要维度是成本，toB和ToC都需要成本低，但是，在成本低这一点上体现为对技术的不同要求。ToC的成本下降模式是规模效用，也就是说技术本身还是可以非常昂贵，但是因为用得人非常多，所以成本低。那么ToC的技术，在落地的时候，就可以尽可能的把最前沿、最复杂、门槛最高的技术只要能够带来效果和体验的切实提升，满足边际成本的要求，都可以。而ToB的成本下降，在于针对定制需求的响应上，需要技术的通用性、低门槛、自动化。ToB的需求往往来自客户，而不是产品的设计者，有较强的定制性。多数情况是去理解需求、相应需求、引导需求和创造需求是需求的。ToC的需求的源头是用户，而产品的设计者同时也是用户，他们是一体的。理解和满足需求的同时，可以引导和创造需求。为什么呢？这里面有一点很大的差异，ToB需求的满足，不是在满足一个独立的个体，而是满足这个个体所在的环境作为一个整体的需求，需要整个环境整体来决策。而ToC满足的需求，是一个体的需求，一个个体的需求只需要这个个体来决策。所以，行业的标杆作用很明显，一个在行业内有影响力的头部公司的需求和落地案例，对于整个行业都有一定的借鉴意义。ToB的销售依赖建立和维持稳定和长期的客户关系，一个消费决策过程比较长，而ToC刚好相反。因此销售和营销策略有很大不同。另外一个在ToB上和ToC上不同的就是，行业的生态。ToC的公司要做好，公司自己把产品做好是最为重要的，甚至就是唯一重要的。但是ToB，要考虑行业的生态，一个ToB的公司在生态中的定位、生态关系的建立是ToB企业规模化的重要问题。起步阶段还不明显，做大、做强要提前规划、动态调整。AiDD：ToB大模型企业如何构建数据飞轮？
马永亮：ToB的数据飞轮过去一直被质疑，由于数据安全的问题，ToB的数据飞轮存在挑战是很现实的。我们都知道AI或者大模型非常依赖数据，根本上来说大模型的能力是从数据中学习得到的。所谓数据飞轮就是模型的能力或者产品的效果可以随着它不断被使用，不断积累数据，最终越来越好。典型的搜索引擎、信息流、短视频、电商，这些都是在C端非常典型和成功的数据飞轮。那ToB有哪些潜在的数据呢？首先是用户使用模型或者产品的数据，这些数据一方面涉及到个人的行为，另一方面涉及企业内部数据，没有形成数据飞轮的条件。这之外有三种数据，公开数据，比如在多数垂直领域，都有大量的公开数据；大模型生成的数据，上面提到了，大模型的一个突破点就是生成，大模型为当前场景生成大量数据；AI落地流程的研发行为数据，这个简单理解就像写程序经常调用什么库和API等。后面这三种数据，都有形成数据飞轮的条件，并且这些数据飞轮覆盖了AI落地的重要环节，从而能够使得AI在不断的落地过程中积累越来越多的数据，最终提升效果，增加效率，降低门槛。AiDD：澜舟科技在大模型研究和应用上的重点是什么？
马永亮：在研究方向上，澜舟持续的优化孟子大模型底座，一方面为应用10B左右的模型场景提供最强的开源模型，另一方面我们也为有对模型底座进行优化的客户提供这样的技术支持，最后，在大模型技术的应用场景中，有很多技术问题需要对模型底座的技术有清楚的理解和定制能力。模型底座之外，澜舟一直以来都在RAG/Agent/大模型数据合成等领域持续的投入研发资源，而且这些方向和应用场景的交互更加频繁，更容易从客户的需求和大模型在实际落地中的问题得到反馈，从而提升研发和创新的速度。创新的速度是非常重要的一个维度，随着技术的扩散，任何重要的技术最终都会变成这个社会的基础设施，也就是说会比现在容易获取得多，那么持续的，快速的创新才是提升竞争力，引领行业的最有力武器。通过这些领域的研发投入，不断优化我们的3个重要产品：澜舟智库、澜舟智会和澜舟智搭。这三个产品，是我们针对企业场景设计的大模型原生应用，让企业能够拥有直接可应用的大模型并且具备自主开发迭代大模型应用的能力。“AI+研发数字峰会（AiDD）”旨在帮助更多企业借助AI技术，使计算机能够更深入地认知现实世界，推动研发全面进入数智化时代。北京站即将于8月16-17日盛大启幕！本届峰会共设十五大分论坛，两个大厂专场，围绕AIGC产品创新、AI原生应用开发、LLM测评、智能体与具身智能、领域多模态大模型、知识工程等技术热点，邀请近百家企业界和工业界大咖共赴盛会。点击下方“阅读原文”或扫描下方海报二维码了解更多峰会信息。
