2024 年度技术热词来袭，AI 如何在可控生成和降本增效中寻找平衡

12 月 13 日至 14 日，由极客邦旗下 InfoQ 中国倾力打造的 AICon 2024（北京站），在工业和信息化部电子第五研究所及北京经济技术开发区的大力支持下成功举办，为与会者呈现了一场高质量的 AI 技术盛宴。

大会吸引超千人参会，超 70 位来自 Hugging Face、英博数科、华为、百度、腾讯云、阿里国际、京东、小米、360 智脑、平凯星辰（PingCAP）、网易、蔚来汽车、智谱 AI、商汤、快手、火山引擎、顺丰科技、智源研究院等企业的资深专家进行了精彩分享，话题涉及多模态大模型、AI Agent 技术突破与应用、AI Native 产品创新与落地、具身智能的落地应用、大模型在企业中的成本优化实践等不同热门话题。

会议伊始，极客邦科技创始人兼 CEO 霍太稳回顾了 2024 年度热词，通过对 InfoQ 2024 年发布内容的分析，以下几大趋势在技术社区内表现突出：

• 生成式 AI 与细分方向关注增加： 大模型相关资讯仍是热门，但 RAG、Agent 等细分方向的实践逐步吸引更多目光。

• 数据相关话题热度上升： 数据治理、标注、生成等话题在下半年明显升温，相关领域头部企业表现亮眼。

• 推理技术的企业化应用： 随着生成式 AI 逐步走向企业级应用，推理环节成为讨论热点。

• 多模态技术演进吸引讨论： OpenAI 连续 12 天直播和谷歌的技术“反击”等事件引发了社区的广泛关注。

• 算力讨论升温：GPU 和异构计算在三季度的讨论热度显著提升，反映了 AI 对算力需求的持续增长。

• 安全话题关注度提升：尽管安全相关文章数量有限，但垂直用户群体的参与度提升，CXO 群体也开始关注这一领域的重要性。

同时，他也带来了两大重磅发布——揭晓 2024 年度技术力量榜单，发布重磅 AI 产品，详情可在本文文末查看。

在本场 AICon 大会演讲中，阿里国际算法负责人、研究员骆卫华以《从铁杵到绣花针：大模型可控生成的探索与思考》为主题，分享了大模型在可控生成领域的最新探索与挑战。

骆卫华指出，现有大模型更像“铁杵”，能用但不够好用，实现可控生成的大模型将成为“绣花针” ，从而解决落地应用的“最后一公里” 问题。他强调，当前大模型在文本生成领域的核心技术挑战包括：如何平衡指令遵循能力与生成质量、多控制条件之间的相互干扰，以及控制条件覆盖不足导致的泛化能力局限。

在图像生成方面，骆卫华提到，现有方法面临训练成本高、控制精度不足以及对复杂控制条件适配能力有限等问题，这些技术瓶颈显著制约了大模型在复杂场景中的实际应用。

针对这些挑战，骆卫华分享了阿里国际团队在可控生成技术上的创新成果。在文本生成方面，他们探索了 Model-free 的自适应属性感知框架，通过动态调整模型参数和优化损失函数，成功实现了长度、情感、关键词等多维度生成控制上的突破。在图像生成方面，他们设计了基于 SD 和 MM-DiT 的统一可控框架，引入统一可控的 adapter，显著提升了复杂任务的生成效果，并在多项基准测试中达到行业领先水平（SOTA）。

骆卫华表示，可控生成技术将在媒体、娱乐、电商、金融等行业产生规模化的行业应用，推动大模型的商业化价值落地。

随着通用大模型和垂直领域大模型应用的快速推进，对训练与推理的算力需求持续增长，但高昂的算力成本已成为行业发展的主要瓶颈。

在大会上，英博数科 CTO 李少鹏深入解析了当前算力服务的核心难题：

• 高算力成本：算力成本主要来自设备采购、机电支持和运维费用。

• 低算力利用率：算力资源的实际利用率普遍偏低，这与硬件匹配、调度策略以及训推框架配置等因素密切相关。

为解决这些痛点，英博数科提出了“单位有效算力成本”的评价标准，用于衡量算力服务质量，并为服务供应商和用户提供科学的决策依据。此外，李少鹏还分享了英博数科的创新实践，包括：

• 构建标准化、模块化的智算中心；

• 自主研发高性能并行存储；

• 打造智能算力调度平台；

• 推出弹性容器服务。

这些举措显著提升了算力利用效率，降低了单位有效算力成本，为行业树立了高质量算力服务的标杆。

李少鹏强调，随着长尾客户逐渐成为算力服务的主要消费群体，弹性算力服务将成为他们的首选，推动智能算力行业向高效、低成本的新阶段迈进。

聚焦于大模型技术的安全挑战与应对策略，360 智脑总裁张向征在本场大会上详细剖析了当前大模型在实际应用中面临的核心安全问题，并分享了针对这些问题的解决方案与实践经验。

张向征指出，大模型在训练、推理和应用过程中涉及多个安全风险，这些风险覆盖了模型的整个生命周期，包括 数据泄露、模型窃取、提示注入以及记忆投毒 等。他特别强调，大模型软件生态的复杂性也使得安全问题更加多样化，例如漏洞利用、恶意代码注入和 SQL 注入，这些都为企业应用大模型增加了隐患。

在生成内容方面，大模型可能因缺乏有效的内容过滤机制而生成涉政、暴力或错误信息，带来伦理与法律风险。同时，其深入阐述了大模型中的“事实性幻觉”和“忠实性幻觉”问题，并分享了通过引入外部知识库（RAG 方案）和强化学习等手段缓解幻觉的实践成果。

在安全防护体系的建设方面，张向征提出了“大模型检、防、攻、测”的全链路安全框架，从安全检测、攻击模拟到策略优化，覆盖了大模型安全管理的各个阶段。通过安全检测大模型、红队攻击以及安全微调等技术手段，可以增强模型的内容安全性，保护输入输出数据的完整性与可靠性。

张向征强调，大模型的安全问题不仅仅是技术难题，更关系到企业业务的安全性和社会责任。未来业界还需要进一步加强原生安全增强、内容安全护栏的建设，以及针对特定行业领域提出更精准的安全解决方案，以确保大模型的可信性与实用性。

大模型时代的核心在于将企业数据接入 AI，充分释放数据的价值。然而，传统数据库架构在应对大模型海量数据和多样化应用需求时，已暴露出明显的局限性。

在本场 AICon 大会上，腾讯云数据库副总经理罗云分享了大模型时代数据库技术的创新方向与行业实践。他指出，向量数据库是企业数据接入大模型的核心枢纽，能够高效管理非结构化数据与结构化数据的协同处理，成为驱动大模型应用的关键技术之一。

罗云详细介绍了向量数据库在腾讯云的技术演进历程，从 VDB 1.0 到 VDB 2.0 架构的优化升级，涵盖 GPU/CPU 支持、自动分区与索引提升等技术创新，显著增强了数据处理性能。他还分享了腾讯云在向量数据库与 RAG（Retrieval-Augmented Generation）方案的集成实践，这一结合使自然语言查询的召回率提升至 80% 以上。此外，他重点介绍了腾讯云的 ChatDB，这是一种 AI 驱动的智能数据库运维解决方案，通过简化数据库管理流程，加速了企业智能化转型的进程。

展望未来，罗云认为，大模型将引领数据库技术的下一次重大变革，使数据库从传统的数据存储工具进化为智能化数据管理平台，为企业的数字化升级提供更强有力的支持。

本次大会特别邀请了产品战略专家、《真需求》作者梁宁，探讨了AI时代背景下的产品战略与商业模式。

梁宁指出，我们的时代是由基础设施划定的。从蒸汽到电力再到互联网，基础设施的演化迭代，为社会提供了新能力和新效率，也造就了每个时代的“万物生”。当下，我们正处在智能革命的前夜，所有人都是“摸着AI过河”，想要看清脚下的路，首先要理解我们身处的时空坐标。

不管是评估一个产品、一项业务，还是一个时代，都可以用价值、模式、共识这个极简模型来进行思考。

工业时代，效率是企业竞争的核心；互联网时代，信息的获取和处理能力成为决胜关键，谁能聚集信息量优势，谁就能成为时代的巨头；进入智能时代，AI 在感知和决策系统一致性上的优势，使得决策质量成为新时代的竞争力。但同时，人类选择让渡权利给 AI 意味着接受风险和能力退化，这将是一个漫长的共识过程。

在演讲中，梁宁进一步分析了从传统工业企业到互联网企业再到AI企业的商业模式演化路径。传统企业以运营“货”为核心，互联网企业以运营“人”为中心，而AI企业则需要探索原生商业模式的全新逻辑。这不仅要求深刻理解AI作为决策系统的优势，还需超越简单的“+AI”模式，真正找到能够驱动价值创造的“黄金场景”。这些场景需要兼具业务成熟度、数据成熟度和技术成熟度。她建议创业者专注于高频、重复、标准化的应用场景，找到清晰稳定的付款方，服务真需求，避免在 AI 大模型的车轮下“绣花”。

AI 技术的快速发展对数据库提出了更高的要求，特别是在高扩展性、强一致性和一体化能力方面。随着大模型应用对数据管理的需求不断增加，传统数据库架构已难以以一体化的方式应对海量数据的实时在线处理和复杂分析任务。

平凯星辰副总裁刘松在本次大会上分享道，数据库技术正在从传统的事务处理工具向面向 AI 的智能化数据处理平台转型，而 TiDB 作为一款开源的原生分布式数据库，正是应对这一技术挑战的重要创新。演讲中，他详细介绍了 TiDB 的核心架构和技术优势：

• 存算分离与融合一体化架构：从 NewSQL 到 HTAP 再到云原生，这种分离式架构可以灵活适配不同规模的数据需求，支持从交易处理到复杂大数据分析的多种应用场景，同时降低了企业的数据管理成本。

• AI 时代的创新能力：TiDB 在支持向量搜索、图推理等 AI 功能方面表现突出，TiDB All-in-One 的 GraphRAG 解决方案为大模型的开发和运行提供了可靠的技术基础。

• 国产化适配：平凯星辰推出的国产化数据库产品“平凯数据库”，专为满足国内政策和企业需求设计，已在金融、政企，互联网等多个行业得到广泛应用，为大模型应用提供了国产化的全链路支持。

此外，刘松分享了 TiDB 开源生态的建设成果。作为全球领先的开源数据库，TiDB 已拥有超过 38000 名注册用户和 8000 多家企业用户，形成了庞大且活跃的生态体系。他指出，在 AI 与数据深度融合的时代，像 TiDB 这样的 All-in-One 数据库正在为大模型的开发与应用铺平道路，为企业实现降本增效、提质提效提供了核心支撑。

在汇聚行业专家与创新者的 AICon 舞台上，两天内共呈现了 16 场精彩纷呈的与 AI 相关的热门议题，为与会者带来了深刻的行业洞察与创新启发。

企业对 AI 落地的兴趣与算力成本紧密相关，尤其是大模型应用所需的算力成本非常高。本专题中，百度 AI 平台架构胡鸣人、蚂蚁集团基础智能 AI Infra 异构计算负责人赵军平、Alluxio 资深架构师汤文军、腾讯 AIGC 模型压缩负责人孙艺芙分别分享了大模型推理过程中的各类成本优化实践。

相比传统单模态模型，多模态大语言模型通过整合文本、图像、语音等多种数据形式，展现出更强的理解与生成能力。在本专场上，智源研究院技术经理刘广、明略科技多模态大模型部门负责人赵晨旭、 阿里云高级算法专家谢榛、蔚来汽车座舱智能感知团队负责人牛建伟分别分享了多模态大语言模型的应用案例，介绍多模态技术如何推动行业创新，优化业务解决方案。

AI 时代，随着数据量的爆发式增长，如何高效管理和治理数据成为关键。在本专题上，ProtonBase 首席科学家邵轶琛、Datastrato VP of engineering 史少锋、阿里国际高级数据技术专家李海军、矩阵起源研发副总裁赵晨阳分别分享了结合 AI 技术的数据治理与架构方面的实践。

面对行业技术的快速迭代，探索 AI 技术如何推动数据管理和模型优化，已成为企业数字化转型的必然趋势。本专题中，华为昇腾生态技术首席 ZOMI 酱、腾讯资深大数据产品经理谭杰轩为各自分享了 AI 和大数据一体化平台的构建思路和应用实践，带观众深入了解国产大模型的加速算法与开发实操。

RAG 技术以其独特的检索增强生成能力，为语言模型的应用带来更多想象空间。但随着 RAG 技术的不断演进和应用范围的扩大，其在实际企业部署中遭遇的挑战和局限性也日益明显。在本专题中，浙江万榕总经理黄帅、招商证券技术平台团队负责人谭成鑫、作业帮高级基础架构研发工程师许春旭结合各自实践，探索 RAG 在解决大模型幻觉中的策略与实战经验。

深入探索大模型的技术实现与行业融合的路径，是释放其商业价值的关键所在。本专题中，智源研究院大模型行业应用总监周华、中信银行创新科学家张然、阿里云高级技术专家黄高攀、孩子王 AI 大模型负责人陈剑等专家，围绕大模型在不同行业中的实际落地展开深入分享。

作为人工智能领域的前沿热点，具身智能正逐步从理论走向实践，从“实验室”走向“应用场”。本专题中，优必选科技副总裁 & 研究院院长焦继超博士、灵宝 CASBOT 联合创始人 & 中国科学院自动化研究所研究员杨国栋、北京银河通用机器人有限公司合伙人张直政各自聚焦具身智能的技术进展和应用分享了一线实践经验。

AI Native 产品是那些从设计之初就完全依赖人工智能技术来构建和运行的产品或应用，随着大模型技术的飞速发展，AI Native 产品技术正迎来爆发式的创新变革。在本专题中，钉钉智能化平台架构师柯杰、商汤科技大模型技术总监张涛、声智科技产品副总裁黄赟贺分享了他们在 AI Native 产品前沿技术、应用实践经验和趋势见解。

随着模型参数和用户数据量的快速增长，大模型在离线计算和在线推理中的资源需求日益紧张，同时耗时性能问题愈发凸显。本专题中，阿里国际 AI Business 智能计算负责人丁虎平、焱融科技 CTO & TGO 鲲鹏会学员张文涛、贝壳找房容器团队负责人王天庆分别分享了他们在模型性能优化与资源统筹方面的经验和实践。

大模型技术的全球市场拓展主要集中在东南亚、北美、欧洲、中东和拉丁美洲等地区。目前，中国的 AI 技术出海也正处于加速阶段。本专题中，阿里巴巴算法专家贾强槐、GMI Cloud 亚太区总裁 King Cui、GMI Cloud VP of Cloud Infra Jay Hsueh 以及甲骨文总监史斌，分享了 AI 出海的挑战、战略和实践。

AI Agent 作为人工智能领域的前沿技术，正随着大模型的突破迎来新的发展浪潮。从基础任务执行到复杂决策和创意生成，AI Agent 展现出巨大的潜力。在本专题中，京东技术专家王译堃、小米 / 小爱高级算法工程师杞坚玮、数势科技 AI 负责人李飞、彩讯股份 AI 产研部总经理邹盼湘各自分享了在这一领域的最新进展和落地探索。

为应对大模型研发与应用落地中对智算基础设施的高需求，以及行业对 AI 基础设施优化和开发实战的关注，本专题中，智谱 AI GLM 模型预训练 & 基础设施负责人曾奥涵、阿里巴巴行业大模型智算技术负责人张跃伟、百川智能算法专家张宇鹏、华为翻译中心高级工程师商恒超分别分享了 AI 基础设施的构建和应用落地的开发实战。

随着大模型技术的不断发展，它已广泛应用于多个业务场景，包括搜索、广告、推荐系统、游戏、电商和视频等领域。在本专题，百度资深工程师施刘远、京东算法总监张泽华、枫清科技（Fabarta）AI 负责人张红兵、火山引擎边缘智能技术负责人谢皓分享了各自在大模型应用或架构的探索与实践。

AI 产品的商业化是 AI 创业中的核心难题，但这一问题必须解决。在本专题，像素绽放 PixelBloom（AiPPT.com）联合创始人蒲世林、秘塔网络科技首席运营官王益为、网易有道国际 App 产品部业务负责人赵越、金山办公 WPS AI 产品总监徐奕成分享了他们在 AI 产品设计、落地和商业化过程中的实践经验与创新思路。

随着 RAG 技术的持续进步和应用领域的扩展，其在企业实际落地中所面临的局限性与技术挑战也逐渐显现，亟需进一步的探索与改进。本专题中，百度灵医大模型底座技术负责人夏源、Hugging Face Machine Learning Engineer 尹一峰、火山引擎技术专家田昕晖、阿里云高级技术专家费跃各自分享了 RAG 及相关框架在企业应用中的难点与创新实践。

随着智能设备的普及和移动应用的多样化，AI 技术在提升开发效率、优化用户体验以及推动创新方面扮演着越来越重要的角色。本专题中，华为终端/BG软件部开发者平台部首席架构师 Jinhua、华为 HarmonyOS 开发技术架构师 pengsong、百度资深研发工程师王初晴、腾讯云资深技术产品专家汪晟杰、北京航空航天大学软件学院长聘副教授杨溢龙分享了在鸿蒙生态下，AI 辅助移动应用开发领域的前沿技术与实践经验。

加餐：直击痛点的 8 场圆桌交流

左右滑动查看更多

作为年度压轴盛会，本次 AICon 不仅在议题设置上持续推陈出新，还特别呈现了 8 场高质量的圆桌交流。每场讨论都精准聚焦行业痛点，干货满满。以下是本次大会期间探讨的 8 大核心话题：

• 从“卷生卷死”的大模型 API 成本谈起：技术、市场与未来趋势

• 大模型驱动下的智能数据治理与处理

• LLM 基座选型、数据集构建与产品落地的坑与对策

• 资源有限，如何构建高效能的 AI Agent

• 大模型搜广推，“新瓶装旧酒”还是“范式的革新”？

• 探索 Scaling Law 的边界与 AI 芯片的新竞争格局

• RAG 的未来，走向繁荣、重塑还是消亡？

• AI 技术驱动下的产品商业化与用户增长策略

为了发掘生成式 AI 和数字化领域的优秀实践，InfoQ 于 10 月中旬启动了“2024 中国技术力量年度榜单”评选。本次榜单涵盖“AI 最佳实践案例 / 方案、AI 最佳技术服务商、高价值技术团队、数智化先锋企业”四大项目，经过一个月的项目征集和专家联合评分，从 160 余个申报项目中遴选出 55+ 优秀企业和团队。

在本次大会上，极客邦科技创始人兼 CEO 霍太稳隆重揭晓榜单，并向所有获奖者表示祝贺。期待这些优秀案例与团队为行业带来更多创新价值，推动 AI 与数字化的深度融合。

具体榜单信息可以查看链接：https://www.infoq.cn/zones/chinatechawards2024/

在本次大会上，极客邦科技还正式发布了全新升级的“极客搜索 AI 版”。作为极客搜索的 AI 升级版，该产品深度整合了极客时间付费课程知识库，通过 AI 技术精准理解用户意图，并结合优质内容资源，实现了一站式智能检索，旨在为用户提供更高效、更实用的答案。

“极客搜索 AI 版”已于今日启动公测阶段，全面开放免费体验且不限使用次数。极客邦科技希望通过这一工具，进一步降低专业知识获取门槛，为技术开发者及企业用户提供便捷的知识服务。

体验链接：https://ai.geekbang.com/

本次 AICon 北京站得到了众多赞助商的大力支持，包括 英博数科、腾讯云、汇丰金科、ProtonBase、华为昇腾、支付宝百宝箱、矩阵起源、钛动科技、豆包 MarsCode、数势科技 等赞助商不仅带来了丰富的展示内容，也为技术传播和行业创新提供了重要助力。正是在各方的共同努力下，AICon 得以继续推动技术生态的繁荣发展，共同探索行业的未来方向。

让我们一同回顾这些令人难忘的精彩瞬间：

左右滑动查看更多

至此，2024 年 InfoQ 中国的 7 场技术盛会圆满落幕。这一年，我们与数万名技术专家、开发者和行业领袖齐聚，共同探讨前沿技术趋势，分享创新实践，推动行业向前迈进。

展望 2025 年，InfoQ 中国的大会规划已全面启动。我们将继续携手行业伙伴，深入挖掘技术热点，覆盖更广泛的领域，打造更多层次丰富的技术交流平台。

期待我们下一场大会再见！

OpenAI 史上最长宕机：自研 K8s 成“拦路虎”，导致数小时无法修复

700 多亿打水漂后，这家巨头突然舍弃了无人驾驶出租车业务！新老员工炸锅：刚还在加班、“一群傻瓜”

掀翻牌桌：定义面向未来的开发新范式

1620 天后，Redis 之父强势归来：开始着手修复社区裂痕，并布局下一代向量数据库