7月31日-8月2日，2024年多模态大模型高峰论坛暨第29期CSIG图像图形学科前沿讲习班在北京成功举办，会议由中国图象图形学学会（CSIG）主办，中国图象图形学学会前沿科技论坛委员会承办。重庆邮电大学校长高新波教授作了题为“人工智能大模型的风险挑战与发展趋势”的报告，报告从人工智能的发展方向、当前面临的风险挑战，以及大模型的发展历程和未来发展趋势等方面作初步的分析，并简要介绍其团队在大模型方面做的应用研究，最后总结提炼本领域拟解决的关键问题。
【新质生产力：强调技术突破和产业升级】
去年9月，习近平总书记在黑龙江提出新质生产力概念，强调技术突破和产业升级。人工智能（AI）作为新质生产力的重要引擎，正快速发展，尤其在大模型如GPT-4o、Sora和Gemini的推动下，AI进入生成式智能阶段。今年5月，OpenAI发布的GPT-4o展示了AI在教育辅导中的潜力，通过有温度的人机交互鼓励学生学习，解决了家长在教育中情绪控制的难题，预示着智慧教育的巨大推动力。然而，AI生成内容的真实性问题也凸显，如Sora生成的视频虽逼真但与物理现实有出入，表明AI尚未达到真实世界物理模拟器的水平，未来需在技术创新和伦理安全间找到平衡。
【人工智能发展三大方向】
人工智能正推动我们完成认识世界、改造世界和创造世界的任务。深度学习技术如ResNet和DenseNet已超越传统方法，使机器能分类和预测。在改造世界方面，AI追求全面的感知和行动能力，如自动化装配线和避障小车。创造世界方面，生成式AI（GAI）如GPT和Sora能创造原创内容，但也面临确保内容符合物理规律的挑战。GAI的发展预示着通用AI（AGI）的到来，是第四次工业革命的关键。未来，AI的发展将更注重数据和知识的结合，利用机器学习模型和深度学习技术创造新内容，同时解决技术进步带来的挑战。
【人工智能的风险挑战】
人工智能（AI）和大模型正面临算力和能源消耗的双重挑战。随着模型规模的扩大，算力需求急剧增长，目前全球算力增长速度跟不上AI的发展速度。ChatGPT等模型的算力消耗巨大，预示着未来对算力资源的激烈竞争。同时，AI的能源消耗问题日益严重，预计到2025年可能占全球能源消耗的15%，对环境影响深远。
数据获取和处理的挑战也随着AI的发展而增加，包括数据的合法性、可靠性和安全性问题。AI系统的复杂性提升带来了失控风险，而决策伦理问题在医疗、法律等领域尤为突出。AI技术的恶意使用可能导致虚假信息和网络攻击，而过度依赖AI可能削弱人类自身的能力，引发技术信任和安全问题。这些问题需要我们在发展AI的同时，寻求平衡和解决方案。
【大模型的发展历程】
大模型的发展经历了三个阶段：萌芽、探索沉淀和迅猛发展。最初，从感知机到BP网络，再到CNN，深度学习逐渐成为主流。探索沉淀阶段，Transformer模型的出现和word2Vec、GAN的诞生为自然语言处理和图像生成带来革命性变化。2018年，GPT-1和BERT的发布使预训练大模型成为自然语言处理的主流。
迅猛发展阶段，GPT-3以其1751亿参数成为当时最大的语言模型，并在零样本学习任务上实现巨大性能提升。2023年GPT-4的发布具备了多模态理解和内容生成的能力，提升了大模型的预训练和内容生成能力。目前，千亿级参数规模的大模型已成为主流，Transformer架构和以GPT和BERT为代表的技术路线成为行业标准。
大模型的开源与闭源策略影响着技术进步和行业应用。随着大模型的发展，对算力的需求也在不断增长，英伟达不断推出新的架构，如Blackwell，提升了GPU的运算效率。大模型正向端侧转移，未来端侧设备也将能够使用大模型。大模型的发展取决于我们对技术的信仰和对未来的愿景。
【高新波教授团队工作】
1、多模态大大模型在智慧环卫中的应用：开发了多模态大模型，用于垃圾分类和清扫工具选择，提高环卫效率。模型名为Garden，基于浦江实验室的InternLM-2模型，结合RAG技术和LoRA微调技术优化。合作开发了DeepEdge10Max芯片，用于端侧部署大模型。
2、大语言模型在自动驾驶中的应用：与重庆长安汽车合作，提升了自动驾驶车辆的空间感知和语音认知能力，使车辆能解释行为并提醒乘客，获得CVPR2024自动驾驶挑战赛创新奖。
3、多模态大模型在机械臂中的应用：将多模态大模型应用于机械臂，增强其环境感知、人机交互、决策和规划控制能力，使其能识别物体并执行操作，如检查食品生产日期。
【人工智能待解决的问题】
2、通用物理世界模拟器：开发能真实模拟物理世界的模拟器，整合物理模型和规律，增强AI的现实适应性和预测准确性。
3、可信、可靠、可解释的AI：构建能做出并解释决策的AI系统，列为中国科学十大科学问题之一。
4、低能耗AI：设计和实现低能耗AI系统，作为前沿科学问题，关注其对能源效率的影响。
5、以人为中心的可信AI：构建以服务人类为核心的AI系统，考虑公平性、安全性、透明性、责任感和隐私性等需求。
欢迎扫描二维码加入中国图象图形学学会
（http://membership.csig.org.cn）
