“Engineering大讲堂:生成式人工智能模型协同与进化”成功举办

学术   2024-11-22 19:39   浙江  

目前生成式人工智能面临规模规律(scaling law)的天花板挑战,如何推动人工智能从“数据、模型和算力”三驾马车驱动机器学习向学习机器转变,是当前人工智能发展面临的挑战。

2024年11月16日, Engineering大讲堂在2024第十三届中国智能产业高峰论坛暨中国人工智能学院院长与名师论坛期间顺利举行。

本次大讲堂以“生成式人工智能模型协同与进化”为主题,启动了2025年中国工程院院刊《Engineering》“生成式人工智能:理论方法与体系架构”特刊征稿,发布了《大模型设计方法学》蓝皮书;来自西湖大学、香港理工大学、复旦大学、上海交通大学、中山大学、浙江大学的专家学者进行了学术报告。会议同步在线直播,全网累计观看人次超57万。

本次大讲堂由中国人工智能学会主办,中国工程院院刊《Engineering》和《FITEE》承办。浙江大学吴飞教授、天津大学韩亚洪教授、浙江大学平台“百人计划”研究员张圣宇担任论坛主席。

西湖大学金耀初教授、香港理工大学杨红霞教授、复旦大学邱锡鹏教授、上海交通大学张拳石副教授、中山大学苗嘉旭副教授、上海交通大学牛超越助理教授、浙江大学黄刚研究员等多位专家分别作了主题报告。

吴飞教授介绍了中国工程院院刊《Engineering》和分刊《FITEE》有关人工智能论文内容、发布了《大模型设计方法学》蓝皮书、宣布了《Engineering》期刊2025年度人工智能特刊征文启动。

2022年至今,《Engineering》和《FITEE》刊发了如下人工智能领域论文。

Toward a more general empowering Artificial Intelligence

迈向更通用赋能的人工智

Yue-Guang Lyu, Fei Wu

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.05.008


A Theoretical Computer Science Perspective on Consciousness and Artificial General Intelligence

从计算机科学理论审视意识和通用人工智能

Lenore Blum  Manuel Blum 

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.03.010


Structure Analysis of Crowd Intelligence Systems

群体智能系统的结构分析 

Yunhe Pan

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2021.08.016


Artificial Intelligence for Retrosynthesis Prediction

人工智能在化学逆合成中的应用

Yinjie Jiang, Yemin Yu, Ming Kong, Yu Mei, Luotian Yuan, Zhengxing Huang, Kun Kuang, Zhihua Wang, Huaxiu Yao, James Zou, Connor W. Coley, Ying Wei

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2022.04.021


Pre-Trained Language Models and Their Applications

预训练语言模型及其应用

Haifeng Wang, Jiwei Li, Hua Wua, Eduard Hovy, Yu Sun 

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2022.04.024


Data-Driven Learning for Data Rights, Data Pricing, and Privacy Computing

面向数据权利、数据定价和隐私计算的数据驱动学习

Jimin Xu, Nuanxin Hong, Zhening Xu, Zhou Zhao, Chao Wu, Kun Kuang,Jiaping Wang

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2022.12.008


Communicative Learning: A Unified Learning Formalism

通讯式学习——统一的机器学习模式 

Luyao Yuan, Song-Chun Zhu

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2022.10.017


Engram-Driven Videography

记忆成像

Lu Fang, Mengqi Ji, Xiaoyun Yuan, Jing He, Jianing Zhang, Yinheng Zhu,Tian Zheng, Leyao Liu, Bin Wang, Qionghai Dai

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2021.12.012


1000 Faster Camera and Machine Vision with Ordinary Devices

基于普通器件实现快1000倍的相机与机器视觉

Tiejun Huang, Yajing Zheng, Zhaofei Yu, Rui Chen, Yuan Li, Ruiqin Xiong, Lei Ma, Junwei Zhao, Siwei Dong, Lin Zhu, Jianing Li, Shanshan Jia, Yihua Fu, Boxin Shi, Si Wu, Yonghong Tian

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2022.01.012


Further Empowering Humans in Specific Fields and Rethinking AGI Testing

在特定领域进一步赋予人类权力并重新思考AGI测试

Yue-Guang Lyu,Fei Wu

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2024.02.001


The Tong Test: Evaluating Artificial General Intelligence Through Dynamic Embodied Physical and Social Interactions

通智测试——基于动态具身物理社会交互环境的通用人工智能测试

Yujia Peng, Jiaheng Han, Zhenliang Zhang, Lifeng Fan, Tengyu Liu, Siyuan Qi, Xue Feng, Yuxi Ma, Yizhou Wang, Song-Chun Zhu

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.07.006


Secure Federated Evolutionary Optimization—A Survey

可信联邦学习进化优化算法综述

Qiqi Liu, Yuping Yan, Yaochu Jin, Xilu Wang, Peter Ligeti, Guo Yu, Xueming Yan

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.10.006


A Survey of Tax Risk Detection Using Data Mining Techniques

基于数据挖掘技术的税务风险检测方法评述

Qinghua Zheng, Yiming Xu, Huixiang Liu, Bin Shi, Jiaxiang Wang, Bo Dong

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.07.014


From Signal to Knowledge: The Diagnostic Value of Raw Data in the Artificial Intelligence Prediction of Human Data for the First Time

从信号到知识——基于人工智能的医学影像裸数据诊断价值初探

Bingxi He, Yu Guo, Yongbei Zhu, Lixia Tong, Boyu Kong, Kun Wang, Caixia Sun, Hailin Li, Feng Huang, Liwei Wu, Meng Wang, Fanyang Meng, Le Dou, Kai Sun, Tong Tong, Zhenyu Liu, Ziqi Wei, Wei Mu, Shuo Wang, Zhenchao Tang, Shuaitong Zhang, Jingwei Wei, Lizhi Shao, Mengjie Fang, Juntao Li, Shouping Zhu, Lili Zhou, Shuo Wang, Di Dong, Huimao Zhang, Jie Tian

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.02.013


The Group Interaction Field for Learning and Explaining Pedestrian Anticipation

用于学习和解释行人预期行为的群体交互场

Xueyang Wang, Xuecheng Chen, Puhua Jiang, Haozhe Lin, Xiaoyun Yuan, Mengqi Ji, Yuchen Guo, Ruqi Huang, Lu Fang

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.05.020


A Dual-Functional System for Classification and Diameter Measurement of Aortic Dissections Using CTA Volumes by Deep-Learning

使用深度学习在CTA扫描卷下实现主动脉夹层分类和直径测量的双功能系统

Zhihui Huang, Rui Wang, Hui Yu, Yifan Xu, Guangwei Wang, Cheng Cheng, Haosen Cao, Xiang Wei, Hai-Tao Zhang

https://www.engineering.org.cn/engi/EN/10.1016/j.eng.2023.11.014


Miniaturized five fundamental issues about visual knowledge

视觉知识的五个基本问题

Yunhe Pan

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2040000


Visual knowledge: an attempt to explore machine creativity

视觉知识:智能创意初探

Yueting Zhuang, Siliang Tang

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2100116


Visual commonsense reasoning with directional visual connections

面向视觉常识推理的有向视觉连接

Yahong Han, Aming Wu, Linchao Zhu, Yi Yang

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2000722


Unsupervised object detection with scene-adaptive concept learning

基于场景自适应概念学习的无监督目标检测

Shiliang Pu, Wei Zhao, Weijie Chen, Shicai Yang, Di Xie, Yunhe Pan

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2000567


On visual understanding

论视觉理解

Yunhe Pan

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2130000


Three-dimensional shape space learning for visual concept construction: challenges and research progress

面向视觉概念构建的三维形状空间学习:挑战与研究进展

Xin Tong

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2200318


On the principles of Parsimony and Self-consistency for the emergence of intelligence

论智能起源中的简约与自洽原则

Yi Ma, Doris Tsao, Heung-Yeung Shum

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2200297


Visual recognition of cardiac pathology based on 3D parametric model reconstruction

基于三维参数模型重建的心脏病理视觉识别

Jinxiao Xiao, Yansong Li, Yun Tian, Dongrong Xu, Penghui Li, Shifeng Zhao, Yunhe Pan

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2200102


Recent advances in artificial intelligence generated content

人工智能生成内容最新进展

Junping Zhang, Lingyun Sun, Cong Jin, Junbin Gao, Xiaobing Li, Jiebo Luo, Zhigeng Pan, Ying Tang, Jingdong Wang

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2410000


ChatGPT: potential, prospects, and limitations

ChatGPT:潜力、前景和局限

Jie Zhou, Pei Ke, Xipeng Qiu, Minlie Huang, Junping Zhang

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300089


Prompt learning in computer vision: a survey

计算机视觉中的提示学习:综述

Yiming Lei, Jingqi Li, Zilong Li, Yuan Cao, Hongming Shan

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300389


Advances and challenges in artificial intelligence text generation

人工智能文本生成的进展与挑战

Bing Li, Peng Yang, Yuankang Sun, Zhongjian Hu, Meng Yi

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300410


Six-Writings multimodal processing with pictophonetic coding to enhance Chinese language models

“六书”多模态处理的形声表征以完善汉语语言模型

Li Weigang, Mayara Chew Marinho, Denise Leyi Li, Vitor Vasconcelos De Oliveira

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300384


TendiffPure: a convolutional tensor-train denoising diffusion model for purification

TendiffPure:一种用于纯化的卷积张量链去噪扩散模型

Mingyuan Bai, Derun Zhou, Qibin Zhao

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300392


Controllable image generation based on causal representation learning

基于因果表征学习的可控图像生成

Shanshan Huang, Yuanhao Wang, Zhili Gong, Jun Liao, Shu Wang, Li Liu

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300303


Diffusion models for time-series applications: a survey

扩散模型在时间序列的应用综述

Lequan Lin, Zhengkun Li, Ruikun Li, Xuliang Li, Junbin Gao

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300310


Enhancing low-resource cross-lingual summarization from noisy data with fine-grained reinforcement learning

基于细粒度强化学习增强噪声数据的低资源跨语言摘要

Yuxin Huang, Huailing Gu, Zhengtao Yu, Yumeng Gao, Tong Pan, Jialong Xu

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300296


Multistage guidance on the diffusion model inspired by human artists’ creative thinking

受艺术家创造性思维启发的扩散模型多阶段引导

Wang Qi, Huanghuang Deng, Taihao Li

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300313


Deep3DSketch-im: rapid high-fidelity AI 3D model generation by single freehand sketches

Deep3DSketch-im:基于人工智能从单个手绘草图快速生成高保真三维模型

Tianrun Chen, Runlong Cao, Zejian Li, Ying Zang, Lingyun Sun

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300314


Parallel intelligent education with ChatGPT

ChatGPT辅助的平行智能教育

Jiacun Wang, Ying Tang, Ryan Hare, Fei-Yue Wang

https://www.fitee.zjujournals.com/en/article/doi/10.1631/FITEE.2300166


《大模型设计方法学》蓝皮书包括垂直领域大型语言模型(LLM)的发展、应用、评估、优化和轻量化部署方法,阐述了从通用基座模型的构建到垂直领域大模型的实际应用及其对科学研究、工程技术和产业应用的推动作用,感兴趣人员可在如下地址下载:https://k.r.sn.cn/kpmjhp



欧洲科学院院士、IEEE 计算智能学会主席、西湖大学人工智能系系主任、人工智能讲席教授金耀初作了题为“Data-Driven Optimization Based on Generative Models”的报告。金耀初教授首先介绍了复杂系统优化的实际应用场景及其主要挑战,包括决策变量规模大、优化目标多且相互矛盾、强约束、不确定性大等。在此基础上,着重探讨了基于扩散模型求解连续及组合优化问题这个新兴研究领域及其在汽油调合优化等领域的应用。最后,金耀初教授分享了大语言模型在优化问题描述、复杂问题分解、数据驱动优化、贝叶斯优化等领域的最新研究进展。



香港理工大学杨红霞教授作了题为《基础模型与专用模型的协作与演进》的主旨报告。杨红霞教授报告介绍了一种新颖的模型协作演化系统,整合数百个领域特定模型,构建计算需求极低的人工通用智能(AGI)基础模型。该系统利用更小的高效模型、合理评估得到的最佳领域模型,对基础模型进行持续优化。该系统从传统的“Model over Data”范式转变为“Model over Model”策略,力图降低当前范式对大规模计算资源的依赖,推动人工智能领域的广泛创新与包容性发展。



复旦大学计算机学院邱锡鹏教授作了题为《大语言模型的机制可解释性》的报告。邱锡鹏教授提到,尽管大语言模型在人工智能多个领域显示出极强的通用性,但理解其内部机制仍缺乏可规模化的手段和理论,这给下一代大模型的设计和优化带来了挑战。自2023年以来,机制可解释性(Mechanistic Interpretability) 为大语言模型的规模化可解释性带来全新的活力。机制可解释性主要是利用稀疏自编码器技术提取大模型中数千万个高度可解释特征,为分析大模型的行为和机制提供了很好的工具。报告介绍了邱锡鹏教授课题组在大语言模型可解释性方面的研究进展,并展望可解释性技术对大模型训练数据、幻觉、安全性等重要问题的结合点。



上海交通大学计算机科学与工程系长聘副教授张拳石作了题为《大模型决策逻辑能否被严谨彻底地解释清楚?》的主旨报告。本次报告介绍了张拳石教授团队所提出的基于等效交互的可解释性理论体系,包括如何在等效交互理论体系下严谨地量化神经网络所建模的“交互概念”表征,如何理论证明解释的严谨性,如何实现对大模型精细决策逻辑的评测,如何从等效交互层面统一解释神经网络模型性能,如何通过对交互复杂度的解释提升大模型的训练效率节省成本,如何对大模型安全性进行量化评估。



中山大学网络空间安全学院副教授苗嘉旭作了题为《生成式视觉模型的隐私安全保护方法》的主旨报告。苗嘉旭教授提到,生成式视觉模型隐私风险主要来源于三个方面,首先是分布式训练,多个机构进行联合训练有可能造成数据泄漏问题;二是模型攻击,包括模型的反演攻击、后门攻击等;三是GAN、Diffusion Models等生成式模型,可以直接对训练数据进行重现,引发隐私风险。报告从这三个层面介绍了AIGC时代的数据隐私保护方法与策略,包括模型层面的记忆缓解训练策略、针对Diffusion Models联邦学习后门攻击以及数据层面的噪声保护等。



上海交通大学计算机系助理教授牛超越作了题为《生成式大小模型协同学习初探》的主旨报告。牛超越教授提出,为解决生成式预训练大模型离线训练与在线推理开销限制了参数规模继续扩张,一个未来出路是大模型与小模型协同。一方面大模型可以向小模型降维输出必要的垂直领域知识,另一方面小模型负责靠近应用场景、用户和数据源的高实时推理,同时基于本地用户数据得以个性增强,并向大模型升维集成新知识,构建生成式大小模型有机循环的新体系。报告介绍在大小模型样本协同与特征协同方面的进展,并探讨在任务协同、参数协同、协同优化等方面的潜在研究机会。



浙江大学电气工程学院黄刚研究员作了题为《知识-数据协同驱动模型及其应用探索》的主旨报告。黄刚研究员报告探讨了如何在人工智能方法中有效结合领域知识与数据,提升模型的表现力和应用价值。报告首先介绍了知识-数据协同驱动模型的核心思想和典型案例(如物理信息神经网络 PINNs);结合新型电力系统的应用场景,展示了在发电、输电、配电及用户侧的应用实践;最后对未来工作进行了展望,尤其是在AI大模型时代下知识在复杂问题求解中的潜力与挑战。




版权声明

本文转自“Engineering”微信公众号

加关注  ID: fitee_cae

本公众号为中国工程院院刊《信息与电子工程前沿(英文)》(SCI-E、EI检索期刊)官方微信,功能包括:传播期刊的学术文章;为刊物关联学人(读者、作者、评审人、编委,等)提供便捷服务;发布学术写作、评审、编辑、出版等相关资讯;介绍信息与电子工程领域学术人物、学术思想、学术成果,展示该领域科学研究前沿进展;为该领域海内外学者提供友好互动平台。

信息与电子工程前沿FITEE
传播中国工程院院刊《信息与电子工程前沿(英文)》(FITEE)的学术文章;为FITEE关联人群(作者、读者等)提供便捷服务;提供学术写作、出版等相关资讯;介绍信息与电子工程领域学术人物、学术思想、学术成果,展示该领域科学研究前沿进展。
 最新文章