李杰（Luga Lee） 某科技公司 系统架构师
答疑嘉宾：
jillme 某大型银行 数据架构师
lidhrandom PAT公司 工程师
jillme 某大型银行 数据架构师：
金融行业是人工智能应用场景密集的行业，也是大模型技术落地的最佳领域之一。利用这个风口能够加速金融数字化和金融智能化的发展，重塑现有业务流程，改变产业格局。
1.金融风险管理。在金融行业，风险控制是核心中的核心。传统的风控手段往往依赖于人工经验和有限的数据分析，难以全面、准确地评估潜在风险。大模型技术可以用于构建更准确、更全面的风险模型，帮助银行评估和管理市场风险、信用风险、操作风险等，提供更精确的风险预测和决策支持，有助于银行制定有效的风险管理策略。
2.量化交易。传统的量化交易一直是金融领域的高端玩法，但高昂的成本和复杂的技术门槛让许多投资者望而却步。大模型技术可以应用于量化交易策略的开发和执行。例如银行大模型能够分析海量的市场数据和经济指标，识别出潜在的交易机会和趋势。通过复杂的算法模型和优化策略，银行大模型能够自动执行交易指令，实现高频交易和套利操作。更重要的是，银行大模型还能根据市场变化实时调整交易策略，确保投资者始终能够抓住最佳的投资机会。这样一来，即便是普通投资者也能享受到量化交易带来的智能和高效。有助于提高交易效率，降低交易成本，提升交易的稳定性。
3.金融欺诈检测和预防。大模型技术可以应用于金融欺诈检测和预防。通过分析用户的交易数据、行为模式和历史记录，识别出潜在的欺诈行为和异常交易，提高银行对欺诈风险的识别和应对能力，保护客户和金融系统的安全。
4.智能客户服务。大模型技术可以用于构建智能客户服务系统，通过提供流畅的人机对话服务，提升客户满意度和忠诚度。
5.精准营销。大模型可以作为“数字员工”，提供接近真人服务体验的自动化客户服务，降低人力成本，提升服务效率。大模型通过分析客户数据，实现精准营销，提高营销响应率和转化率。通过构建个性化画像，可以根据个体投资者的偏好和风险承受能力，生成个性化的投资建议和组合配置，辅助投资者做出更明智的决策。
6.数据治理。通过机器学习和深度学习技术，大模型能够提供更准确的数据分析和预测。可以自动化执行重复性任务，减少人工干预，提高工作效率。
但是使用过程中也要考虑到，大模型面临算力需求大、训练和推理成本高、数据质量不佳、隐私和安全问题以及大模型与金融业需求的契合度仍待提升等问题和挑战。
Luga Lee 某科技公司 系统架构师：
其实，大模型在金融行业内的市场应用潜力还是蛮丰富的，具体应用场景可参考如下3方面：
1.客户服务代理方面：我们可以利用大模型来理解客户需求，生成具有建设性的投资建议，同时，也可以作为虚拟助理对客户所提出的问题进行实时互动和应答，从而给予友好的用户体验。
2.风险管理方面：利用大模型处理非结构化数据（如新闻、社交媒体情绪）及结构化数据（如财务报表数据、交易数据等）。
jillme 某大型银行 数据架构师：
一般需求可以分解为5级：价值、流程、活动、任务、步骤。
其中价值对应的企业战略，这点基本上在实施过程中极少涉及到，我们下面就结合流程、活动、任务、步骤4点进行说明。
流程：由多个组织或多个角色协同配合完成，每个流程都有明确的目标。
活动：流程通常由多个业务活动组成。活动一般是由单一角色的或同角色的人完成。
任务：任务组成了活动，与场景条件有关系。
步骤：任务中的组成单元，涉及单一角色或人员，一般与场景条件无关。
以银行场景为例，客户经理的营销产品就是一项业务活动。该业务活动可以被拆解为：售前的客户需求挖掘和售中的产品个性化配置和售后营销效果跟踪等业务任务。这些业务任务又可被拆解成多个业务步骤，如客户画像分析、常见产品问题回答、客户需求识别、产品个性化配置以及表单智能填写、客户产品持有期、购买产品撤销率、转化率等。
业务任务可以根据业务复杂程度细分为简单的业务任务与复杂的业务任务。对于简单的业务任务，我们通过工作流的编排来实现简单业务任务的快速落地。以客户画像的处理为例，通过工作流可以实现快速、准确地通过RAG从知识库中提取特定信息，如各项资产负债、产品偏好、风险厌恶等，并自动结合客户的评级，和历史上客户的动作规律，展示出动态的客户画像。
而针对复杂的业务任务，我们可以通过对话流+记忆组件实现对问题改写、扩写和反问等功能，更精准地理解和澄清任务要求，使得AI Agent能够更好地理解用户的意图，提供个性化的解决方案。例如，在产品盈利咨询中，通过与客户的对话，评估客户的购买意愿度和承受的损失情况，有无投资经验等，确保快速准确的对客户分级，从而提高营销效率。
通过AI Agent结合企业目前使用的IT系统也是实现业务需求的一个方面，常见的包括CRM、ERP和一些分析系统等，例如销售的自动数据录入、订单处理等，从而提高销售效率。当客户下订单时，Agent可以自动从CRM系统中获取客户信息，从ERP系统中检查库存情况，并在销售自动化工具中生成订单。
比如营销效果分析时候，Agent分析营销数据，发现个指标的的营销业绩变化明显，可以及时向管理层发出预警，以便及时调整策略和采取措施。
其实上面说了这么多，只是Agent的一些增强用处，实际上现在很多业务流程实现的低代码平台，完全可以将Agent嵌入进去使用，实现流程引擎式的编辑。
lidhrandom PAT公司 工程师：
大模型 Agent 应用领域目前尚未出现类似Java开发领域的Springboot的通用框架，究其原因恐怕算力仍是关键：一方面，进行模型迭代不断研发训练新模型需要的算力极大，使得开源模型能力尽管经过了数年演进仍不足以达到AGI；另一方面，大模型推理所需算力也远超传统Java应用，对于复杂业务需求，其成本相较人工仍未展示出压倒性优势。
与传统业务需求拆解相比，大模型 Agent 应用还需要额外关注 Agent 本身的能力边界，例如对于涉及数学和推理等领域的业务需求，需要前置大模型结果不可信的风险与业务方共同评估；又如由于涉及大量大模型输入输出， Agent 应用系统响应延时相较传统Java应用往往较大，需要同业务方提前明确业务时间敏感环节，对系统进行针对性设计。
Luga Lee 某科技公司 系统架构师：
一般来说，从需求到产品是一个系统性工程。将企业需求拆分成 Agent 和流程，本质上是将复杂的问题简化为多个可管理的子域。基于实现流程角度而言，具体可参考如下步骤：
1.理解需求并识别流程：首先，明确实现的目标是什么。然后，针对具体的目标，将整个业务流程分解成一个个具体的步骤，并明确每个步骤的输入、输出和处理逻辑。
2.设计 Agent 以及交互流：根据业务流程的每个步骤，确定需要哪些 Agent 来完成。同时，每个 Agent 负责一个相对独立的功能，将每个任务分配给最合适的 Agent ，并定义其输入输出。
jillme 某大型银行 数据架构师：
1.RAG增强，RAG是一种结合了信息检索和文本生成的技术，通过从外部知识库中检索相关信息来指导文本的生成。这种方法提高了模型在处理复杂问题时的准确性和可靠性，适用于问答系统、文档生成等任务。
2.记忆补充，将记忆信息代入用户的prompt，构建对于业务有判断作用的信息，例如根据上下文语境补充主体、客体、场景，用于帮助RAG发挥更大的效果。
3.代码中优化，对用户的重写，补全语句缺失实体，或者错误语义改写一下，提升RAG的成功率
lidhrandom PAT公司 工程师：
要保持AI Agent的稳定性，系统框架就需要充分利用当前主流的各类技术并有机结合，主要包括：
RAG技术
RAG是提升大模型输出内容可信度的重要手段，通过提供外源性可信知识，大大缓解了大模型内源性知识中的幻觉，可以有效提升系统稳定性。
规划、决策、反思架构
ReAct模式已经成为当前AI Agent架构的主流设计理念，通过要求大模型自我反思可能出现的错误，可以有效纠正输出中的幻觉，提升系统稳定性。不过需要注意的是，架构设计中仍需保持简洁，尽可能只在关键环节引入反思机制，避免大模型思维链过长影响模型性能甚至陷入死循环。
格式化输入输出
尽管大模型被视为以自然语言进行交互，但这主要指面向用户输出的最终结果。在AI Agent应用当中涉及大量模型与模型、模型与计算机系统之间的交互，格式化乃至于代码化输入输出是十分有效的幻觉消除解决方案，可以通过微调赋予模型格式化输入输出能力，提升系统稳定性。
Luga Lee 某科技公司 系统架构师：
在实际的场景中，保持AI Agent 的稳定性，并确保底层大模型输出的内容始终一致地映射到 Agent 指定的意图上，是一个复杂而多层面的挑战过程，其不仅涉及到技术的实现，还需要对用户交互的深入理解和管理，我们可以从如下几点着手，仅供参考：
1.数据增强的优化：比如，使用高质量、标注准确的训练数据，确保底层模型能够学习到稳定的意图与输出之间的关系。同时，确保数据集涵盖多种表达方式和情境，以提高模型的鲁棒性，能够处理不同用户的输入。此外，使用数据增强技术（如同义词替换、句子重组等）生成多样化的训练样本，进一步增强模型的适应能力。
2.模型的迭代微调：针对特定意图的目标需求，定期对模型进行微调，使用最新的交互数据进行训练，以保持模型的更新与适应性，从而使得模型对这些特定场景的意图映射更加全面、准确。
jillme 某大型银行 数据架构师：
1.明确需求是第一步
企业首先应对自身的业务场景进行深入研讨，识别出哪些具体问题亟待解决，哪些是未来的发展规划。帮助企业形成需求列表，明确目标帮助企业避免不必要的功能冗余，让选型过程更为高效。
短期目标：如果企业希望在短期内快速提升现有系统的智能化水平，可以选择AI Embedded模式。
中长期目标：对于需要长期持续改进、依赖用户与AI互动的业务，可以选择AI Copilot模式。
全面自动化：如果企业希望实现业务的高度自动化、减少人工干预，则应考虑AI Agent 模式。
2.技术与资源评估
企业应评估自身的技术储备和研发能力，选择适合的AI模式。
包括企业本身的技术储备评估，包括已有的算法、数据资源、计算能力等。如果企业在这些方面有较强的积累，可以考虑采用更先进的AI模式，如大规模预训练模型或AI Agent 技术。如果储备不是十分丰富，可以考虑供应商提供的MASS模式。
AI大模型的研发和部署需要显著的资金投入，尤其是对于需要大量数据训练的模型，要根据自身的财务能力来选择合适的AI模式。
3.使用场景与适用性
AI大模型在不同行业中的应用方式各有不同。因此，理解模型的实际使用场景与适用性显得尤为重要。应该充分考虑以下几方面：
行业特性：某些模型在特定领域有着独特的算法优化与数据处理能力，在选择时应保证所选择的模型具备所需的专用功能。
用户反馈与口碑：分析过往用户的反馈与评测，用户对AI的接受度和依赖程度也是选择AI模式的重要因。
4.模型性能与评估
在正式建设模型之前，应考虑如何进行有效的性能测试。看性能是否能够达到预期要求。
Luga Lee 某科技公司 系统架构师：
中小银行在选择适合的大模型和应用场景时，需要结合自身业务特点和资源条件，找到适合自身的建设路径。以下思路仅供参考：
1.明确具体的实现目标及应用场景
首先要考虑的是基于自身的业务导向选择对应的场景实现，比如是做 AI 顾问还是客户服务代理？毕竟不同的业务目标，其所实现的技术框架可能有所不同。
2.选择合适的模型
是基于开源的模型进行二次开发或封装还是购买商业的许可，以及这些模型后续的开发支撑及迭代优化能力，这些都是需要考量的。
3.确立模型的技术堆栈
若选用开源的模型，后续用什么语言或集成框架进行封装也是需要权衡，毕竟牵涉后续的模型维护问题。
如果是从0到1，关于前期的技术储备，涉及的面还是蛮广的，需要考虑的点包括如下：
1.应用框架层面：大模型及周边生态的熟悉，尽可能了解所选用的大模型所关联的周边生态技术堆栈情况，例如运行框架平台、插件等。
2.基础设施方面：如果需要针对所开发的模型进行训练优化，需要对所依赖的底层技术设施有所了解，比如算力需求规划、模型生命周期管理等。
3.数据隐私及合规层面：引入大模型时符合监管要求，建立数据脱敏、加密、隐私保护等机制，尤其是在模型训练和使用过程中要防范数据泄露风险。
jillme 某大型银行 数据架构师：
AI Agent 的过度交互问题确实在早期类似AutoGPT的 Agent 应用框架中时有发生，但随着2024年以来AI Agent 应用领域的研究不断深入，过度交互问题已经在很大程度上得到了规避。
一些案例表明，过度交互主要来自于应用系统对大模型任务拆解引导的缺乏。在大模型自由发挥时，其思维可能出现发散的情况，导致思维链偏离原始任务目标。对此，新的AI Agent 应用研发范式中，类似于传统软件研发中的微服务的概念，多 Agent 协同工作成为得到广泛认可的模式。尽管基于同一大模型，不同的提示词可以赋予不同的 Agent 以不同的思维方向，通过设计提示词限定每个 Agent 预期输入输出，专注于完成自身任务，行成服务网格，可以在网格上形成清晰的链路，有效避免过度交互。
Luga Lee 某科技公司 系统架构师：
优化 Agent 过度交互，提升效能，这是一个系统性问题，可从从多方面考量，具体可参考：
1.技术层面。提升AI Agent 本身的能力，与之关联的生态方面都可以进行优化改进或调整，例如，强化学习、知识图谱等技术手段。
lidhrandom PAT公司 工程师：
为了便于非专业人员使用，平台从设计到部署应充分模块化。以我司某博士团队提出的AI Agent 应用平台架构为例，整体设计可以分为大模型层， Agent 层和应用层。
在大模型层，用户可以选择使用模型服务提供商提供的大模型API，也可以选择私有化本地部署大模型。选择API模式可以节省部署成本，而私有化部署可以支持更高的可控性和客制化应用。
在 Agent 层，不同的 Agent 通过容器化模块化部署，可以分别设置容量和计价，便于用户最大程度上节省成本。
在应用层，通过基于先进的vue3框架设计实现的核心自研前端界面，支持用户组合不同 Agent ，设计适用于自身业务工作流的AI Agent 应用，满足用户各类不同需求。
Luga Lee 某科技公司 系统架构师：
通常，基于“易用性”角度，可以参考以下几方面：
1.基于低代码/无代码开发模式：利用可视化的配置界面，仅需通过配置参数便可实现复杂的业务逻辑。
2.基于预制的通用性模版：借助常见的业务场景模板，如智能客服等，可直接选择并进行定制。
lidhrandom PAT公司 工程师：
关于Agent的安全问题，我司某博士团队近两年来已经持续深耕，出品了一系列安全高效的隐私大模型解决方案。这一问题近一段时间的研究也取得了诸多进展。
在to C应用方面，腾讯出品的AppAgent重点强调了agent架构设计中隐私安全方面的考量。该框架主要通过模拟人工操作完成对智能终端的自动化调用，因而以屏幕截图作为输入。在对用户智能终端屏幕显示内容进行理解时，特别添加敏感内容（例如密码输入框，手势密码等）识别的步骤，针对这些步骤将控制权交还给用户，确保to C agent应用的安全。
在to B应用方面，可以采用英伟达出品的nemo guardrails对大模型安全性进行定制化加固，具体情况具体分析。
jillme 某大型银行 数据架构师：
1.身份控制，确保只有经过授权的用户或系统才能访问和操作AI Agent。
2.授权控制，限制用户对AI Agent的访问范围和操作权限，防止非法行为的发生。
3.安全通信，AI Agent与用户或其他系统之间的数据传输通过采用加密、数字签名等技术手段保障过程安全可靠。
4.安全审计，监控所有AI Agent的行动和信息流；需要给AI Agent的行动、流程、连接、数据暴露、信息流、输出和响应提供一个全面的仪表盘视图。同时，还需要支持对Aengt的所有交互和活动进行不可更改的审计跟踪。
5.检测和标记异常的AI Agent行动；检测并标记那些异常的AI Agent行动以及违反了企业相关政策的行动。应尽可能对异常交易进行自动修复；对于无法自动修复的异常情况，应该立刻暂停，并转给人工进行审查和修复。
6.即时修复问题。
Luga Lee 某科技公司 系统架构师：
在实际的业务场景中，基于AI Agent的内部机制复杂性、自主决策性、数据依赖性以及环境交互动态性，使得AI Agent可能面临种种问题。因此，Agent的安全问题是一个综合性问题，需要从多方面进行考量：
1.模型角度：在训练过程中，采用对抗性训练技术，增强模型对对抗样本的鲁棒性，防止模型被恶意输入干扰。同时，在上线之前，全面的模型验证，确保其安全性和稳定性。
2.数据角度：确保针对特定的数据建立合规的访问机制，以及在数据存储和传输过程中尽可能对其进行加密操作。同时，针对一些核心或关键数据，进行匿名化处理，以保护用户隐私，降低数据泄露带来的风险。
3.平台角度，也就是应用所依赖的底层设施，尽可能保证资源池设施、操作系统以及所运行模型框架的能力平台尽可能处于一种可控状态，以避免不必要的漏洞及风险。
1、AI Agent的应用场景解析
2、AI Agent需求落地实践
通过以上多方位的分析和规划，银行能够有效将企业需求转化为高效的Agent系统，并充分利用大模型技术提升服务质量和业务效率。
3、AI Agent稳定性优化实践
然而，AI Agents在实际应用中面临着诸多挑战，需要从技术、应用、组织和伦理等多个维度进行综合考虑。要成功构建和部署AI Agent系统，需要具备扎实的AI基础知识、丰富的行业经验以及对未来发展趋势的敏锐洞察力。
点击文末阅读原文，可以到社区原文下留言交流
觉得本文有用，请转发、点赞或点击“在看”，让更多同行看到
资料/文章推荐：
欢迎关注社区 “AI”技术主题 ，将会不断更新优质资料、文章。地址：https://www.talkwithtrend.com/Topic/116059
*本公众号所发布内容仅代表作者观点，不代表社区立场；封面图片由版权图库授权使用
