本次直播是AI+Science读书会的加餐活动!扩散模型横空出世之后,图像、视频的生成似乎就走上了快车道——分辨率越来越高,内容越来越准确。与此同时,扩散模型「逐步优化」的生成模式也与很多系统产生了关联,例如ODE、电场线等。本次直播分享,来自塔夫茨大学的博士后章彦博将会与大家分享关于「扩散演化算法」的最新工作。关键词 :扩散模型,演化算法,神经网络,机器学习,统计物理
在现实世界中,创造性的产物往往源自演化。随机的变异,加上自然选择,就产生了丰富多样的物种。而如今,在计算的世界中,创造性常常来自生成式模型,而其中则以扩散模型为主流。演化与降噪在直觉上就具有很多相似性——都在逐步优化,都能产生丰富的内容,都同时蕴含着确定与随机。我们在最近的工作中发现:扩散模型在数学上就是一个演化算法,天然地蕴涵了自然选择、随机变异,以及生殖隔离。基于这个发现,我们提出了「扩散演化算法」(Diffusion Evolution Algorithm),无需训练任何神经网络,可以直接优化黑盒系统的参数。不仅如此,我们刻意地减少人为设计的成分,使得扩散模型领域的工具可以用于此算法:扩散模型的加速采样方法同样可以加速演化;而隐空间扩散模型的思想也可以导出「隐空间演化算法」,使得我们可以轻松优化上万维的系统(例如神经网络),解决一些强化学习的任务。扩散模型与演化算法的联系不仅在于性能,我们也关心它的理论潜力——演化算法可以反过来导出更好的生成模型吗?如何进行开放式的演化?其他扩散模型会对应哪些演化算法?
两种生成模型:演化与扩散模型
扩散模型也是演化算法
免费的午餐:站在扩散模型的肩膀上
章彦博,美国亚利桑那州立大学复杂系统博士,本科毕业于中国科学技术大学凝聚态物理系,现在塔夫茨大学进行博士后研究,集智科学家,曾在瑞典卡罗琳斯卡医学院进行访问交流。研究方向:统计物理、复杂系统等。他的研究兴趣主要是试图理解我们这个世界的“特殊尺度”。为什么原子会存在?为什么分子会存在?为什么“事物”的概念是一个有用的概念?此外,他还致力于利用化学反应网络探索生命的起源。
直播时间:
10月20日10:00-12:00(周日),直播报名入口见后文。
集智俱乐部 B站和视频号免费直播,扫码可预约:
扫码参与读书会,加入群聊获取本系列读书会的视频回放权限、资料权限,与社区的一线科研工作者和企业实践者沟通交流。
- Zhang, Y., Hartl, B., Hazan, H., & Levin, M. (2024). Diffusion Models are Evolutionary Algorithms. arXiv preprint arXiv:2410.02543.
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in neural information processing systems, 33, 6840-6851.
- Song, J., Meng, C., & Ermon, S. (2020). Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502.
AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science,机器学习和其他 AI 技术可以用来解决科学研究中的问题,从预测天气和蛋白质结构,到模拟星系碰撞、设计优化核聚变反应堆,甚至像科学家一样进行科学发现,被称为科学发现的“第五范式”。另一方面是 Science for AI,科学尤其是物理学中的规律和思想启发机器学习理论,为人工智能的发展提供全新的视角和方法。集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖(Jure Leskovec 教授指导)、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣(Max Tegmark 教授指导),共同发起以“AI+Science”为主题的读书会,探讨该领域的重要问题,共学共研相关文献。读书会从2023年3月26日开始,每周日早上 10:00-12:00 线上举行,持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。统计物理学不仅能解释热学现象,还能帮助我们理解从微观粒子到宏观宇宙的各个层级如何联系起来,复杂现象如何涌现。它通过研究大量粒子的集体行为,成功地将微观世界的随机性与宏观世界的确定性联系起来,为我们理解自然界提供了强大的工具,也为机器学习和人工智能领域的发展提供了重要推动力。
集智俱乐部联合纽约州立大学石溪分校教授汪劲、德累斯顿系统生物学中心博士后研究员梁师翎、香港浸会大学助理教授唐乾元,共同发起「非平衡统计物理」读书会,关注非平衡统计物理的前沿理论进展、生命和热力学、统计物理与机器学习交叉三个大的主题方向,涵盖热机优化问题、涨落相关的热力学、反常热力学现象、信息视角下的热力学、生命系统的景观和流理论、活性物质、生命系统、种群动力学、机器学习和人工智能等前沿话题。读书会计划从11月19日开始,每周二晚19:00-21:00进行。我们诚挚邀请相关领域的研究者分享的工作,也欢迎大家一起参与讨论交流!
点击“阅读原文”,报名读书会