【大模型应用落地之规划AI数据中心系列】· 大模型应用落地路径顶层设计
大模型正在引领人工智能技术的创新和应用。自1956年达特茅斯会议（Dartmouth Conference）提出人工智能的概念以来，人工智能技术经历了多个发展高峰和低谷。在这一长期的发展过程中，人工智能技术不断演进，逐步朝着更高的智能水平和适应性发展。2022年11月30日，OpenAI发布了ChatGPT，引发了行业热潮，AI大模型已成为全球科技竞争的新高地、未来产业的新赛道、经济发展的新引擎，发展潜力大、应用前景广（近几年大模型发展如图1所示）。我国始终高度重视人工智能发展机遇和顶层设计，发布多项人工智能支持政策。国务院于2017年发布《新一代人工智能发展规划》，科技部等六部门于2022年印发《关于加快场景创新 以人工智能高水平应用促进经济高质量发展的指导意见》对规划进行落实。2024年《政府工作报告》中提出开展“人工智能+”行动。人工智能正在成为产业创新的关键抓手和驱动新质生产力的关键引擎。
图1 近几年大模型发展
金融行业各企业也在不断加快推进公司“ALL in AI”策略布局，建立健全人工智能相关大模型、算力、数据语料、人才储备等基础设施保障体系，全力推动人工智能在公司各领域应用，深入推进实现企业数字化转型。企业在落实AI能力的过程中，必然面对数据中心从业人员如何主动拥抱大模型应用趋势、如何建立大模型应用能力框架以及如何建立大模型项目效果评估体系等关键问题。
建立大模型应用能力框架过程较为复杂，涉及到目标定义、技术方案、数据管理、大模型管理、安全性与隐私保护以及持续学习与迭代等诸多方面（见图2）。该框架的建立有助于系统化、规范化地管理和运用大模型，以实现更高效、更安全、更可持续的业务价值。
一、定义目标
定义业务需求目标是实现最终AI或者大模型落地的一个关键步骤。
首先，深入理解业务背景和目标，如业务流程、市场定位、客户群体等背景信息；明确业务部门的短期和长期目标，以及希望通过AI解决的具体业务问题等。
其次，识别业务痛点，明确业务流程中遇到的具体问题，如客户流失率高、人工校验交易信息效率较低、运维日志告警误报率高等；识别哪些业务痛点可以通过AI或者大模型来解决，即根据实际业务问题的性质选择合适的模型。例如，自然语言理解的问题，可能需要使用BERT、ALBERT等预训练模型；自然语言生成问题，则可能需要使用Llama、Qwen等大语言模型。
二、技术方案
目前很多垂域的业务问题无法通过单个模型以端到端的形式解决，往往是需要把大的问题拆解，不同的子问题需要使用不同的技术方案来解决。
比如用于常规查询一些宽泛主题时可以使用大模型+提示工程。这个方案比较考验大模型本身指令跟随能力及用户构建有效提示词的能力，其实施难度较低，对一些容错性较高的场景，可以直接利用现有工具快速上线。
而检索增强生成（Retrieval Augmented Generation ，简称RAG）更适合需要最新信息、涉及上下文的复杂查询等场景。该方案需要访问相关的外部知识库，通过结合这些外部知识来提升大模型的响应质量。其实施难度中等，但对知识库的搭建有一定的要求。
微调技术（Fine-tune）则是适合于垂域、定制的任务。该方案需要做数据收集、模型微调、模型评估等工作，需要具备一定的机器学习原理与模型架构的相关知识。
对齐技术（Alignment）适用的任务和微调技术相似，都需要数据收集、模型训练等工作，不同点在于对齐确保大模型的响应与人类的价值观和意图一致，减少风险并确保大模型的安全性和可靠性。
三、数据管理
高质量的行业数据是提升大模型性能和实现行业应用落地的关键。然而，目前用于行业模型训练的数据集普遍存在数据量少、质量低、专业性不足等问题。为了解决这些问题，我们不单单要依赖于一些开源数据集，如WuDaoCorpora、BAAI-CCI、Redpajama、SkyPile-150B、IndustryCorpus等，其中IndustryCorpus 1.0在前几项数据集的基础上清洗过滤出3.4TB的高质量、多行业分类的中英文语言预训练数据集，其中中文数据占1TB，英文数据占2.4TB。并为中文数据标注了字母数字比例、平均行长度、语言的置信度得分、最大行长度、困惑度等12种标签。除此之外，在一些垂域场景中，开源数据集可能也无法适配具体任务，需要人工标注数据。标注任务不仅需要一套完善的标注工具，如LabelLLM等，还需要协调多方人力参与，比如业务同事需要给出标注原则，标注同事做数据标注和交叉验证。同时，针对不同的任务，需要的数据标注量也不尽相同，少则几千条，多则上万条，甚至更多。
四、大模型管理
大模型管理包括模型选型、模型训练与优化、模型评估与测试、模型集成与部署。
基座模型的选择至关重要，因为无论最终技术方案是提示工程、RAG还是微调，都离不开基座模型。因此在选择基座模型时，需要考虑以下因素：
(1) 模型性能：评估基座模型在大规模无监督学习中的表现以及在各种自然语言处理任务上的效果。
(2) 参数规模：参数规模决定了模型的能力和复杂性，更多的参数可能意味着更强的学习能力和表达能力，但同时也要考虑计算资源和训练时间的限制。
(3) 模型的可访问性和许可：考虑模型是否易于访问，是否有任何许可限制可能会影响使用或再分发。
(4) 案例研究：查找使用该模型的案例研究，了解它在实际应用中的表现。
(5) 特定领域的适用性：如果模型将被应用于特定领域，考虑模型是否适合该领域的语言特性和需求。
通过综合考虑这些因素，可以选择出一个适合特定应用需求的基座模型。在选定模型后，需要对其进行调优以适应特定的应用场景，包括调整模型的超参数、进行微调训练、以及优化模型的推理速度和资源消耗。首先，需要选取合适的微调框架，例如LLaMAFactory、Firefly等。其次，如若不局限于这些框架的功能的话，可自行基于Pytorch、Accelerate、Deepspeed搭建自定义微调框架，其复用性更强。最后，微调算法的选择，目前Huggingface Peft库已经集成了很多常用的微调算法，例如Lora、AdaLora、Qlora等。
模型的评估与测试因任务而异，不同的任务侧重的评估指标不尽相同，例如大模型做信息抽取时，则更关注于每个要素的准确度；大模型用于机器翻译，可利用BELU分数，评估机器翻译输出与参考翻译之间的重叠程度；ROUGE分数则常用于文本摘要评估，衡量生成摘要与参考摘要的一致性。
五、安全性与隐私保护
大模型应用在安全性和隐私保护方面面临诸多挑战，业界已经提出了多种解决方案和技术来应对这些问题。
(1) 可信执行环境（TEE）：通过硬件和软件的结合创建安全执行环境，确保计算和数据处理的机密性和完整性。
(2) 数据安全与隐私问题：大模型在训练过程中需要处理大量数据，这些数据可能包含敏感信息。为了保护数据安全，需要采取数据加密、访问控制和数据脱敏等措施。
(3) 对抗性风险和威胁建模：大模型可能遭受对抗性攻击，如精心构造的输入欺骗模型产生错误的输出。威胁建模被推荐用于识别潜在威胁并检查流程和安全防御，以保护数据和隐私，确保业务内的安全和合规集成。
六、持续学习与迭代
大模型应用的持续学习与迭代是其不断进步和完善的关键过程，涉及到多个方面的考量。从技术角度来看，大模型的持续学习通常依赖于以下几个方面：
(1) 业务反馈：模型的迭代与更新最重要的一个环节就是业务反馈，有了业务反馈，我们才能了解线上模型的局限性，根据实际的badcase，分析、定位模型的问题所在。
(2) 数据流：模型需要不断地从新的数据中学习，这要求有一个稳定且多样化的数据来源。这些数据可以是实时产生的，也可以是定期更新的，关键在于它们能够反映现实世界的变化和多样性。
(3) 在线学习与离线学习：在线学习允许模型在处理新数据时即时更新其参数，而离线学习则是在固定的数据集上周期性地进行训练。两者结合可以使得模型既能够适应快速变化的环境，又能在有足够数据时进行深度优化。
(4) 增量学习：随着数据的积累，模型可能需要采用增量学习的方式，逐步地、有选择地吸收新知识，同时避免灾难性遗忘旧知识。比如经验回放（在学习新知识的过程中定期回顾老知识）、弹性权重共享（通过正则化项来保护对旧知识重要的权重参数，减少它们的变化）等。
结语
大模型技术在金融行业的应用前景广阔，它通过强大的数据处理能力和复杂的模型架构，正在引起金融业的深刻变革。如金融风险管理：大模型能够分析大量数据，帮助金融机构更准确地评估和管理市场风险、信用风险和操作风险，提供实时的风险预警和决策支持；量化交易：通过分析历史交易数据和市场趋势，大模型可以识别交易机会，自动执行交易策略，提高交易效率和稳定性；个性化投资建议：大模型能够根据投资者的风险偏好和财务状况提供个性化的投资建议，帮助投资者做出更明智的决策；金融欺诈检测与预防：大模型可以分析用户行为和交易模式，识别潜在的欺诈行为，提高金融机构对欺诈风险的识别和应对能力；智能客户服务：大模型技术可以构建智能客服系统，提供24小时不间断的客户服务，提升客户体验；监管合规：随着大模型技术的应用，金融机构需要遵守更严格的监管要求，确保数据安全和隐私保护等等。
大模型对金融行业的数字化转型和竞争力提升具有重要的推动作用，同时也促进行业从传统工业到智能引擎转型升级。生成式AI是带动社会与企业数据融合、促进数据市场化的创新性工具，能实现降本增效，推进产业发展与升级，助力行业突破以及催生各类新应用。尽管大模型技术在金融行业中的应用潜力巨大，但也存在数据隐私和安全风险、模型可解释性和透明度、监管和合规要求等挑战。金融机构在利用大模型技术的同时，需要加强风险管理和应对策略，确保技术的健康发展。
欢迎点击文末阅读原文到社区原文下评论交流 觉得本文有用，请转发或点击在看，让更多同行看到
本文首发于《迈向YB数据时代》第9期。扫一扫，识别二维码去社区立即兑换纸质版→
欢迎关注社区 “大语言模型”技术主题 ，将会不断更新优质资料、文章。地址：https://www.talkwithtrend.com/Topic/116059
*本公众号所发布内容仅代表作者观点，不代表社区立场；封面图片由版权图库授权使用
