在南京的超聚变菁英会上，我向伙伴们分享了这一年里，光哥自创办人工智能创新中心以来在AI大模型落地的实践经验，
AI技术正以前所未有的速度发展。AI不仅是技术创新的象征，更是驱动战略转型的核心力量。AI为企来客户带来了深度优化的可能，不仅提升效率、降低成本，还帮助企业挖掘新的业务价值。特别是AI大模型的崛起，彻底改变了业务模式和技术应用的深层逻辑。政府和企业若要在AI领域取得优势，需要利用AI重新定义业务模式。例如，通过AI推动个性化服务，优化运营管理流程，甚至变革客户交互方式。
AI大模型的广泛应用也对基础设施提出了新的要求,传统的计算范式是CPU+软件平台构成的计算平台构成，计算中心。
随着AI大模型的应用推广，传统计算平台开始向以GPU和AI大模型为核心的智能计算平台或“企业大脑”转型。经常遇到些朋友问为什么AI模型要使用GPU？公众号文章《有了CPU为什么还要GPU》光哥专门做了详细的解答，AI时代，算力即新石油。
企业不需要大模型
企业级客户对AI大模型的需求与C端不同，需要满足复杂的管理和业务流程需求，企业需要的系统化的AI解决方案，而不是一个AI聊天机器人。
私有化部署让企业的核心数据更稳固、更安全
数据安全对于很多企业来说至关重要。诸如国外的一些公司已禁止员工在办公环境中使用ChatGPT等在线AI工具办公，以避免企业知识产权或敏感信息泄露。对于政府和央国企来说，私有化部署的AI大模型解决方案非常重要，以确保安全合规。在信创或更高安全的需求的场景，为了实现整体安全可控，更需要国产算力+模型来保障。
企业级AI落地不仅仅是简单技术对接实施
我的团队在基于国产算力的AI大模型应用落地过程中，涉及到场景规划、工程实施及与各业务系统的深度集成。我们面临业务适配、数据治理、技术适配及生态协同的4大挑战。
落地的过程中我们发现，AI大模型的选型需要考虑参数规模、数据质量及算力规划要求，而AI推理的性价比对许多企业级客户来说是重要的考量，在实际测试的过程事实证明参数规模越大，AI大模型的推理能力越强。但是一般情况下，一般情况下至少13b 或以上的参数规模的模型质量要高一些。但大多企业客户一般无法像Open AI、互联网巨头那样，部署千亿或万亿参数级模型，并为此投资几十亿甚至上百亿建设算力网络来支撑这样在大语言模型训练和推理。成本、ROI是企业迈过去的坎。
因我们根据客户需求，制定了模型选择策略，并根据模型的的不同，结合不同的工程方法来弥补私有化模型参数规模不太高的情况下带来的推理能力不足的问题，满足客户的合理预期和ROI：
大型模型（70B及以上参数）：适合RAG方法以避免微调过程中丢失对话、翻译和分析等能力。RAG还可以增强外部数据库支持。
中型模型：RAG和微调可以并用，根据需求灵活调整。
小型模型：由于其通用能力有限，通过微调对特定领域的数据进行训练，使之专注于行业知识。
算力成本在AI应用中至关重要：模型训练和推理的需求大不相同。模型训练耗费算力资源大，成本高，技术门槛也高，适合少数需要专有模型需求的企业，而推理适用于大多数政企客户，并可以通过架构优化、量化剪枝等手段降低计算需求。推理虽频次高但算力要求相对较低，约为模型训练算力要求的1/8，如果考虑越性价比，科学的模型选择和工程化手段是必备的功课。
国产化算力的非CUDA适配是落政企私有化大模型的重大挑战之一。当前主要的AI大模型通常基于CUDA框架，因此需要将模型适配到国产算力非CUDA环境比如华为的CANN。为此，我们实践总结出几点适配经验：
1.AI技术团队需对深度学习框架有一定认知，比如pytorch。
2.首先学习和使用国产GPU厂商的SDK，避免直接从底层适配，否则您将面临很高的学习和开发成本。
3.保持与GPU厂商及与模型生态厂商和技术团队保持协同，目前很多国产大模型的都Transformer架构，而很多政企客户的一些深度学习模型是非Transformer架构模型。上流中流厂商的支持与配合至关重要。
AI落地不是一项技术选择，而是一项系统工程
从场景规划、模型训练、模型部署到应用集成，AI大模型全生命周期的实施既有业务问题又有技术问题，又有工程问题，又有客户场景战略，也有大模型定制，又要有算力基础设施的支撑 ,这是一项系统工程。
光哥在此过程中总结出了一套基于STEAM的方法论：
战略S：确定AI应用的方向和定位。
技术T：技术选型与客户的需求匹配。
工程E：科学可行的实施路径。
架构A：充分即考虑创新的设计与又要考虑与原有系统的集成。
管理M：有效协调各伙伴的合作，合适时机选择合适的合作伙伴介入。
以此为基础，我们构建了自研东华AI Agent平台，并实现国产化大模型及数据的定制服务，落地于智能BI、数字人、智能工作流等多个AI应用案例。
完成企业级AI的落地是系统工程，离不开强大的团队能力及与生态伙伴的协作。从算力层，模型层，数据层，工程层都需要各类生态合作伙伴
算力成就AI，生态助力AI
未来，光哥将继续推动国产算力的创新发展，推动AI深度融入工作和生活。
