AI Native技术重构软件产品白皮书(二)

文摘   2024-06-21 17:03   北京  


编者荐语:



在当今数智化时代,人工智能技术浪潮以前所未有的速度重塑着软件行业的面貌,基于海量互联网数据训练的大语言模型逐渐呈现通用人工智能的能力特征,并深刻改变着人与机器的交互模式。

《AI Native技术重构软件产品白皮书》深入探讨了基于第一性原理AI Native技术重构软件产品的方法体系与指导规范,系统阐述了AI Native的理念、架构设计、构建方法以及其对未来发展的重要影响,介绍了AI Native重构软件产品的研究成果和实践经验。期望本白皮书能够促进业界对AI Native概念的共识,并将其应用于产品实践中。

今天,我们推出的是系列文章的第二篇——《AI Native重构软件产品方法论》部分,具体介绍重构愿景、生态洞察、关键要素、技术体系、重构原则和重构方法。


AI Native技术重构软件产品白皮书

亚信科技(中国)有限公司

三. AI Native重构软件产品方法论


3.1 重构愿景:构建目标导向的数字化系统自主智能


采用AI Native技术重构软件产品的目标是在通用人工智能(AGI)的基础上构建多智能体应用,从而全面提升数字化系统解决开放问题的智能。这种重构不仅仅是技术上的升级,它代表着一种全新的工作方式,其中数字化员工在各行各业中发挥作用,提高生产力,并优化人机协同工作的关系。通过这种方式,AGI成为数字化应用系统的核心,推动着智能化转型和创新。这种转型不仅能够提高效率,还能够为企业带来更深层次的业务洞察,使得决策过程更加精准和高效。随着AI技术的不断进步,我们可以预见一个更加智能、自动化的未来,其中通用人工智能将成为推动社会和经济发展的关键力量。


基于当前基础大模型带来的AGI能力,AI Native重构将主要围绕人机交互、流程体验、决策控制、操作执行、升级迭代等几个方面进行,呈现以下特点:


· 重构人机交互:能够理解用户的上下文环境,包括用户的行为、偏好和环境条件,从而提供更加个性化的交互体验,同时能够实现多模态会话式交互,根据感知用户意图和交互行为,并且具备在线学习能力,能够不断从新的交互数据中学习,提高其智能水平。


· 重构流程体验:动态全流程体验和感知,并能够回溯用户操作和体验,比对用户意图和痛点,提供个性化作业流程,自动化许多重复性和时间密集型的流程,减少繁琐流程、减少人工干预,提高整体效率。


· 重构决策控制:引入智能规划与决策,打破功能之间固化的依赖和连续性,依据用户意图按需构建控制逻辑,同时对于高价值环节,AI Native 能够自主收集相关数据信息,分析挖掘支持信息,通过人机协作方式重塑决策控制流程,基于AGI的自动化系统将能够自主决策和行动。


· 重构操作执行:智能感知操作环境的动态变化,自适应地优化执行动作,按照优化路径完成任务,根据实际任务还可自主创造工具和使用工具,提升面向开发未知和复杂场景下的操作执行能力。


· 重构升级迭代:能够探索开放问题域的未知场景,面对新的应用场景可以通过学习和记忆的方式进行在线升级迭代,具有自我学习和适应的能力,可以根据新的数据和经验不断优化决策模型。


最终依托智能体的自主环境感知、自身状态建模、协同运动规划、自主升级迭代,自适应地调整多种智能体的技能执行,构建面向复杂开放问题的自主智能,实现任务目标导向的智能体高效协同,全面重构数字化系统的应用形态。

3.2 生态洞察:面向AGI时代的软件产品技术生态洞察


Gartner在其调研报告中分析了生成式通用基础大模型为行业带来的变革,它认为,从软件产品技术生态角度来看当前生成式通用大模型将会对四个技术栈产生重大影响[17]:应用层(Software Applications)、工程工具层(Engineering Tools)、模型运营层(Models)和基础设施层(Infrastructure)。从以智能算力为中心的基础设施到生成式通用大模型的能力、模型服务工程化工具,最后形成多样化的AI Native应用,四层之间相互依赖、协同整合,共同构成了生成式通用大模型的技术栈。从底向上看:


· 基础设施层(Infrastructure):支撑大模型运行的物理和技术基础,包括服务器、数据中心、云计算平台等。这些组件提供了必要的计算能力、数据传输速度和存储空间,支持大模型的大规模训练和运行。其中跨节点分布式训练调度、计算资源超级池化、加速推理服务技术将成为基础设施的重要演进方向。


· 模型运营层(Models):包含了针对大语言模型LLM、多模态模型LMM以及针对特定领域或用例定制的专业模型。模型运营包含了针对特性领域的开发训练及持续优化,从无监督训练、模型微调、模型纳管和模型评测等全生命周期流程(Foundation Model Ops)。


· 工程工具层(Engineering Tools):包括以模型为中心和数据中心的工具,它们可以帮助开发者和工程师测试、部署和提升大语言模型。其中以LangChain、AutoGEN、Promptflow、LlamaIndex等针对模型链、提示工程、智能体构建、自动提示词、模型串联以及RAG等工具平台。这些类型工具通过灵活组合赋能大模型应用场景,实现与场景应用的能力对接,逐渐成为构建AI Native应用的不可或缺的组件。


· 软件应用层(Software applications):使用大模型来执行任务的软件应用程序。通常面向特定行业或功能的,可以直接被终端用户或企业使用,以完成特定的工作流程或业务需求。如面向医疗行业的分析医学影像、面向金融行业的预测市场趋势,或面向运营商领域的网络自动运维。其呈现的趋势特征已进行了充分描述。


图3-1:Gartner生成式AI产品技术生态


从以上分析我们可以看到,除去底层硬件供应商在面向未来AGI能力不断升级算网基础设施,软件供应商分别聚焦在影响未来AI Native应用的三个关键要素重构现有软件生态:


1.通用基础大模型:大型生成式通用模型(如GPT-4)不仅通过强大的自然语言处理可以理解用户的意图,并自动生成有用的解决方案;也可以协助开发人员进行代码分析、自动化重构和文档生成。这成为AI Native应用的关键使能技术,头部互联网企业在此领域竞争激烈。


2.软件设计模式:指快速构建应用的通用方法,基础大模型带来的通用智能深刻地影响着软件构建模式,使得传统面向不同领域和特定问题的专用软件有了相对统一的智能体(AI Agent)设计模式。无论是大型互联网企业还是创业型公司都在打造具有大脑和手足的智能体软件形态,并提供开放接口有效的集成数据、知识、算法与工具。


3.软件工程化工具:工程化工具是软件开发过程中的关键组成部分,它们可以帮助开发人员更高效地编写、测试和部署代码。基础大模型在程序语言上的通用能力使得软件工程开发工具更加智能,不仅可以提供代码自动补全、调试、版本控制等功能,也将重塑整个软件开发生命周期。


综上所述,通用基础大模型、软件设计模式和工程化开发工具共同影响着软件重构的结果与过程。


3.3 关键要素:AI Native重构软件产品的三大关键要素


在基于云计算时代Cloud Native的既有能力向AI Native演进的过程中,我们也可以参照Cloud Native重构单体应用的技术体系,定义适用于AI Native的技术体系和方法论。从CNCF基金会给出定义来看[7], Cloud Native充分利用了云计算、容器化和微服务架构等现代技术来构建和运行应用程序,具备可伸缩性、弹性、高可用性和自动化等特征,具备可更好适应云环境。


相应的,AI Native Foundation(AINF)成立于2024年[18],专注于赋予专家和组织AI原生的能力,以加快向数字化转型的进程,并旨在促进AI技术的负责任和可持续的发展,但其尚未给出智原生 AI Native 的定义。随着通用基础大模型技术的持续发展,我们预计AGI能力将从新手级别(如GPT-4)快速向专家级别(GPT-5有望达到)演进,进而导致AI Native的有关技术体系将对软件重构多个方面产生深远的影响。吴恩达认为,AGI 时代将以生成式AI 为核心重构产品和服务,以AI创造力、行动力重构产品交互理念和业务体验Workflow,推动人机协同打造新生产力[19]。参照Gartner 对当前生成式AI技术与产品生态的分析和预测,综合业界主流观点以及亚信科技在AI应用构建的探索实践,我们按照优先级给出亚信科技AI Native重构产品的三大关键要素:核心使能技术,应用设计模式,以及研发工程管理。具体来看:


· 核心使能技术:从容器化的平台即服务(Container based PaaS)向(Foundation Model based MaaS)模型即服务跃迁。随着AI能力提升,以LLM为代表的生成式大模型将承担着理解用户意图、执行核心流程、分析决策等影响用户体验和产品性能的关键核心技术,以AI为核心重构整个产品的技术栈,而针对模型的二次训练优化、认知增强技术、模型加速推理、模型微调对齐等关键技术将在未来整个产品技术栈中占据核心地位,因而MaaS将构成核心使能技术的承载平台。


· 应用设计模式:从微服务编排 (Microservice Orchestration)向基于通用人工智能AGI能力的智能体工作流(Agentic Workflow)演进。AI 的应用正在重新定义组织形态和员工的工作方式,出现了所谓的“数字员工”和“智能体”,它们能够承担知识型工作,与人类员工协同工作。而未来产品应用和设计方式将从面向过程的微服务编排向面向目标的智能体工作流演进,将支持复杂流程设定,快速开发出强大的智能体应用,同时智能体可以设计出能够根据用户需求自动生成和调整的工作流程。从某种意义来讲,支撑智能体工作流程的构建平台将成为AGI时代的“低码平台”。


· 研发工程管理:从研发运维一体化(Devops)向AI增强软件研发生命周期(Augmented SDLC)模式转变。AI Native 软件通过自动化和智能化的方法,大幅度降低了软件开发的边际成本,使得软件生产更加高效。AI 驱动的软件开发工具,如 GitHub Copilot、Devin、SWE-agent等软件开发智能体和编辑器,已经证明可以显著提升代码编写效率,全面重构当前需求收集、设计、编码、测试、部署和维护等AI软件研发工程管理。从应用工具层面、工程团队流程组织、生产成本效率以及产品能力创新层面,增强的SDLC对整个产品研发生命周期带来巨大影响,成为AI Native 重构软件产品的重要方面。


图3-2:AI Native 重构产品的三个关键要素


整体来看,AI Native 将推动数智化软件系统的升级,基于机器智能通过高度智能化的人机协同打造新质生产力,AI Native重构将主要围绕三大关键要素展开:以基础模型为核心的 MaaS 平台、以AI增强开发为主要形态的工程模式以及围绕AGI能力的智能体工作流应用。


3.4 技术体系:AI Native重构软件产品的使能技术体系


随着通用人工智能AGI能力的不断增强,软件产品生态将会经历深刻的变革,同时将会催生新的商业模式和服务。投资机构a16z观点认为当前基于基础大模型(Foundation Model)的软件应用快速迭代,种类和领域不断扩展,应用生态快速丰富完善构建,且该趋势仍在初步阶段,未来仍极具增长空间[20]


综合考虑以上业界对AI Native应用的期望,及影响AI Native重构软件产品的三个关键要素,我们给出AI Native使能技术体系方案:包括模型即服务MaaS平台,用于提供高级智能(AGI)服务的功能;多智能体MAS系统,它们将基于MaaS平台能力重构现有应用,并通过人机协同来优化任务执行;以及增强的软件开发生命周期(SDLC),这有助于在整个开发过程中集成AI能力用以提升研发效能。


图3-3:AI Native 重构使能技术体系:MaaS平台、多智能体应用、增强SDLC


(一)承载AGI能力的模型即服务MaaS平台


从体系架构(Architecture)上看,Cloud Native 以容器为关键技术构建了云原生PaaS平台,进而推动了软件的微服务化解耦,并重构为弹性可伸缩的SaaS应用。而 AI Native 则以基础大模型为核心构建MaaS平台,不仅推动了以智能体为范式的应用变革,也带动了全栈技术升级。


图3-4:MaaSModel as a Service)围绕基础大模型的新核心使能技术栈


从支撑的软件技术栈层面来看,基础设施从CPU向GPU迁移,IaaS for AI将主要向资源超级池化、高速推理加速以及围绕支撑AGI构建的百卡/千卡高速总线互联、分布式推理加速网等核心技术转变,构建超级池化+高速推理服务的整体能力。而PaaS for AI主要依托于IaaS层虚拟化能力去做有效的异构资源调度,并集成原有Cloud Native技术优势通过容器、微服务、服务网格等高内聚、低耦合、弹性伸缩的基础设施,为AI Native 提供云原生基础设施底座能力,实现多种计算资源(如CPU、GPU、FPGA、DPU等)的集群中高效地分配和调度任务。DaaS for AI依托于以数据为中心的AI(Data-Centric AI)能力,通过工程化高质量数据集提供AI 模型性能,主要为训练、微调和应用AI提供高质量、多样化及场景专业化的数据集,包含数据治理、采集、去重过滤、合成数据、数据可解释性以及提示词数据等相关过程。


MaaS层将集成IaaS、PaaS、DaaS层中for AI改造增强能力,形成以AI为核心重构整个产品的技术栈,而针对模型的模型训练优化、认知增强技术、模型加速推理、模型微调对齐等关键技术,支持大规模分布式计算和训练框架的迭代弥补,集成模型微调训练当中的软件组件和数据开发工具,并配合向量数据库和应用编排工具等能力,使大模型应用能够有效发挥自身能力,并适配场景需求实现AI技术栈的有效整合,构成AI Native重构核心使能技术的承载平台。


(二)基于AGI能力的多智能体MAS应用系统


从设计模式(Design Pattern)上看,Cloud Native 解耦了单体应用,为应用的可持续交付提供了可重用的微服务。而 AI Native 则以AI基础大模型能力为中心,聚合了模型服务、数据服务以及可重用的微服务,形成了智能体的大脑、感官和肢体,打造了可持续学习自主演进的智能软件。进一步,多个不同角色的智能体将以超自动化(Hyperautomation)形式逐渐形成人机协同的多智能体(Multi-Agent System,MAS)应用系统。


智能体工作流(AI Agent Workflow)是一种新兴的与大型语言模型交互和完成任务的方法,它强调迭代和对话式的人机交互。基于智能体工作流的产品设计模式,可以显著提高AI系统的效率和输出质量,其主要内容包含围绕任务的反思(Reflection)、规划(Planning)、多智能体协作(Multi-agent Collaboration)、任务分配(Task Decomposing)等多个过程,将智能体反思、工具使用、规划和多智能体协作能力和业务流程相结合可设计更智能、更高效、更自动化的工作流能力,而此工作流将赋予智能体的自主能力(Autonomous),而非传统基于微服务的编排(Orchestration)能力,其任务构建效率将得到有效提升,同时将具备通过自主环境感知、自身状态建模、协同运动规划,自适应地调整多种智能体的技能执行结合,最终实现跨场景、跨智能体的应用执行能力。


图3-5:AGI为核心的新应用设计模式


(三)融合AGI能力的增强SDLC研发过程


从研发过程(Standard of Process)来看,基于大模型的生成式AI在软件开发领域拥有巨大的变革潜力。业界期待的图灵机器人被设想为能够显著提升开发团队的生产力,短期内图灵机器人预计将为所有开发角色提供协助,提高15%到30%的生产力。随着它们的发展,它们将提供更准确的类似同伴的支持给人类,通过自动化如规划、编码、测试和部署等任务,进一步减少软件开发生命周期(SDLC)中的手工劳动。这种进步表明,软件开发方式将发生重大转变,强调AI和人类智能之间的协同合作,以优化SDLC。Gartner预计到2027年[17],40%的平台工程团队将使用AI来增强SDLC的每个阶段。


在进行AI Native软件产品重构过程中,增强SDLC将有效提升大模型应用构建效率、减少实施成本和风险,同时实现基于价值流效能指标的重塑。具体场景方面,AI工具可以自动执行代码审查,检查潜在的编程错误和代码风格问题,自动生成技术文档,减轻开发人员的文档编写负担,并可实现软件维护与进化,支持软件的维护、重构和性能改进。多智能体(Multi-Agents)的数字员工引入,对传统研发团队的结构产生较大的影响,初期,AI Agent主要以辅助为主,提升研发效率。当演进到中高级阶段,SDLC对于人员的依赖逐渐减弱,尤其是开发、测试、交付这些环节。并且,SDLC的不同角色之间的边界将不再固定。在价值流重构方面,将基于综合传统SDLC需求价值流分析过程和以AI Agent为基础的自动化、智能化效能指标。


3.5 重构原则:依据康威定律设计多智能体系统应用

通用人工智能AGI正在推动以AI Native技术重构应用产品向一个多模态智能体这样一个重要的范式转变,这一转变标志着之前为被动的结构化任务创建人工智能模型,正在转向能在开放式复杂环境中扮演动态、智能性角色的智能代理,也就是数字员工。这种转变的核心在于,智能体不仅是执行预定任务的工具,更能够成为自主学习、适应并与人类协作的数字化劳动力。这些数字员工能够在多变的环境中做出决策,处理未知情况,并通过自然的人机协同来解决复杂问题。这种能力的提升,使得智能体在组织结构中的角色和职责更加明确,它们不仅仅是工具,更是合作伙伴。

康威定律指出[21]:“系统的架构受制于使用系统的组织和人员之间的沟通结构”。这意味着,数字化系统的设计必须考虑到组织内部的沟通和协作方式。具体来说,康威定律(Conway’s Law)表明团队的组织结构、沟通方式和协作模式会直接影响软件系统的架构。如果团队分工明确、沟通高效,系统的模块划分和接口设计可能更加清晰。反之则系统的模块之间可能出现不一致、冗余或不必要的耦合。反康威定律(Inverse Conway’s Law)则是一种思考方法,可以通过改变优化组织结构来适应系统设计。康威定律和反康威定律提醒我们,组织结构和系统设计之间存在紧密的关联,我们应该在设计系统时充分考虑团队的沟通方式和协作模式。因此,未来基于智能体的“数字员工”需要基于康威定律明确其在组织结构中所承担的和职责,以及如何组成多智能体系统完成人机协同。

多智能体系统(Multi-Agents System, MAS)协作包含智能体之间的通信、交互、合作和协调,其主要研究方向包括多智能体的系统结构、智能体通信、合作与协调,以及基于多智能体系统的决策规划等。影响多智能体系统的关键因素包括:多智能系统之间相互影响的广度(知识信息、观点、资源共享)、相互作用的深度(角色分配、模拟能力、沟通协作、任务分配)、多智能体系统行为特征(健壮性、叠加性、可解释性和目标性)等。随着AGI能力完善,多智能体系统的统筹规划、决策、任务分配和优化能力将推动应用从单体智能向群体智能演变,形成面向复杂、开放问题的多智能体协作应用。


3.6 重构方法:围绕业务价值构建人机混合智能系统


AI Native重构实施并非一蹴而就,需要以业务目标为导向平滑升级应用系统,具体实施过程与传统面向操作流程的应用系统不同,基于智能体的AI Native应用使能企业以“数字员工”的方式重构数字化支撑系统。因此,以业务价值为导向,通过优化人机混合的组织架构将成为主流AI Native应用系统的范式,而支撑“数字员工”的通用人工智能AGI成熟度将影响该人机混合系统的生产力与生产关系。同时,AI Native应用本身的开发也将利用AI增强智能体的构建配置。


从工程上看,AI Native应用开发将聚焦在利用智能体设计模式重构现有数字化系统的交互与控制方式,将原有解决已知问题的封闭系统重构为能够面向开放领域问题的智能系统,因而其产品全生命周期将呈现以下特点:


· 需求分析与发现:这一阶段关注于基于业务目标和组织架构理解和定义人机交互与协同的方式,并确定所需解决的问题。


· 多智能体系统设计:在这个阶段,设计人员需要考虑如何将不同的智能体按照“数字员工”的方式组合在一起,并有机纳入用户旅程以实现整个应用的目标。这包括确保智能体之间,以及智能体与用户之间有效地通信和协作。


· 智能体开发:这一阶段涉及具体实现前两个阶段定义的系统设计和需求。与之前需要开发者编写代码不同,这里期望通过配置智能体的静态属性和动态行为后,就可以使用自然语言交互的方式确保它们可以在更广泛的系统中发挥作用。


· 系统测试:在测试阶段,需要确保每个智能体和整个系统按预期工作。这主要是基于用户旅程测试相关场景精确度、有效率和性能。


· 应用系统运营:最后,在应用系统部署后,需要通过人在环路进行持续的运营管理,包括监控系统性能、用户反馈收集以及智能体持续学习与演进。


图3-6:以业务目标为导向平滑升级应用系统


目前,上述的每个步骤都至关重要,可以通过增强的软件开发生命周期(Augumented SDLC)来确保AI Native重构的应用系统能够高效、有效地服务于其既定目标:需求分析保证开发符合用户和业务的实际需要;多智能体系统设计和开发保证系统架构的可扩展性和灵活性;系统测试保证产品重构质量;通过应用系统运营确保长期的稳定性和持续改进。可以看到,人在环路(Human in the loop)[22]将在实施AI Native 重构过程中发挥重要作用。通过人类反馈对智能体行为进行反馈和评估,并对智能体与人类意图不匹配、规划不完备等方面进行调整,最终使得智能体的行为与人类预期一致,实现智能体人在环路数据轨迹收集,包含智能体推理路径、智能体工具调用等多个数据,最终将人类反馈交互轨迹构建成为强化学习数据集。在训练阶段,人类用户的参与可以帮助提高系统的鲁棒性和适应性;推理阶段,人类可以提供实时的监督和调整,以确保模型的输出符合预期。最终形成人类和AGI共同工作发挥所长,形成协同效应的混合智能系统。


图3-7:人在环路混合智能示意

参考资料

[17]  Gartner. Predicts 2024: The Future of Generative AI Technologies[R],2023.
[18]  AI Native Foundation[EB/OL]. https://ainativefoundation.org/,2024.
[19]  吴恩达:现在做GPT-4智能体,或将提前达到GPT-5效果[EB/OL]. https://new.qq.com/rain/a/20240331A03UY500, 2024.
[20]  How Are Consumers Using Generative AI[EB/OL]. https://a16z.com/how-are-consumers-using-generative-ai, a16z, 2023.
[21]  康威定律:AI时代的IT组织结构变革[EB/OL]. https://xie.infoq.cn/article/82fc04071cd269f0c31229eaa, 2024.
[22]  Hengjia X, Peng W. LLM A*: Human in the Loop Large Language Models Enabled A* Search for Robotics[J]. arXiv preprint       arXiv:2312.01797, 2023.

亚信科技新技术探索
亚信科技的ICT前沿技术观点与行业洞见。展现亚信新技术与产品行业实践成果。
 最新文章