Science for AI最新进展:扩散模型也是演化算法!丨周日直播·AI+Science读书会

学术   2024-10-16 20:54   北京  


导语


本次直播是AI+Science读书会的加餐活动!扩散模型横空出世之后,图像、视频的生成似乎就走上了快车道——分辨率越来越高,内容越来越准确。与此同时,扩散模型「逐步优化」的生成模式也与很多系统产生了关联,例如ODE、电场线等。本次直播分享,来自塔夫茨大学的博士后章彦博将会与大家分享关于「扩散演化算法」的最新工作。

关键词 :扩散模型,演化算法,神经网络,机器学习,统计物理




背景




在现实世界中,创造性的产物往往源自演化。随机的变异,加上自然选择,就产生了丰富多样的物种。而如今,在计算的世界中,创造性常常来自生成式模型,而其中则以扩散模型为主流。演化与降噪在直觉上就具有很多相似性——都在逐步优化,都能产生丰富的内容,都同时蕴含着确定与随机。

我们在最近的工作中发现:扩散模型在数学上就是一个演化算法,天然地蕴涵了自然选择、随机变异,以及生殖隔离。基于这个发现,我们提出了「扩散演化算法」(Diffusion Evolution Algorithm),无需训练任何神经网络,可以直接优化黑盒系统的参数。不仅如此,我们刻意地减少人为设计的成分,使得扩散模型领域的工具可以用于此算法:扩散模型的加速采样方法同样可以加速演化;而隐空间扩散模型的思想也可以导出「隐空间演化算法」,使得我们可以轻松优化上万维的系统(例如神经网络),解决一些强化学习的任务。

扩散模型与演化算法的联系不仅在于性能,我们也关心它的理论潜力——演化算法可以反过来导出更好的生成模型吗?如何进行开放式的演化?其他扩散模型会对应哪些演化算法?



大纲



 

  • 两种生成模型:演化与扩散模型

    • 来自生物学的启示

    • 演化也是一种生成模型

  • 扩散模型也是演化算法

    • 扩散模型的新视角

    • 生成与演化

    • 扩散演化算法

  • 免费的午餐:站在扩散模型的肩膀上

    • 扩散模型加速采样 -> 演化算法加速迭代

    • 隐空间扩散模型 -> 隐空间演化算法




主讲人简介




章彦博,美国亚利桑那州立大学复杂系统博士,本科毕业于中国科学技术大学凝聚态物理系,现在塔夫茨大学进行博士后研究,集智科学家,曾在瑞典卡罗琳斯卡医学院进行访问交流。研究方向:统计物理、复杂系统等。他的研究兴趣主要是试图理解我们这个世界的“特殊尺度”。为什么原子会存在?为什么分子会存在?为什么“事物”的概念是一个有用的概念?此外,他还致力于利用化学反应网络探索生命的起源。





直播信息




直播时间:

10月20日10:00-12:00(周日),直播报名入口见后文。

参与方式:

集智俱乐部 B站和视频号免费直播,扫码可预约:



扫码参与读书会,加入群聊获取本系列读书会的视频回放权限、资料权限,与社区的一线科研工作者和企业实践者沟通交流。

报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员,均遵循内容共创共享机制,可以获得报名费退款,并共享本读书会产生的所有内容资源。详情请见:人工智能和科学发现相互赋能的新范式:AI+Science 读书会启动




参考文献




  • Zhang, Y., Hartl, B., Hazan, H., & Levin, M. (2024). Diffusion Models are Evolutionary Algorithms. arXiv preprint arXiv:2410.02543.
  • Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in neural information processing systems33, 6840-6851.
  • Song, J., Meng, C., & Ermon, S. (2020). Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502.

相关文章

AI+Science 读书会


AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。一方面是 AI for Science,机器学习和其他 AI 技术可以用来解决科学研究中的问题,从预测天气和蛋白质结构,到模拟星系碰撞、设计优化核聚变反应堆,甚至像科学家一样进行科学发现,被称为科学发现的“第五范式”。另一方面是 Science for AI,科学尤其是物理学中的规律和思想启发机器学习理论,为人工智能的发展提供全新的视角和方法。

集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖(Jure Leskovec 教授指导)、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣(Max Tegmark 教授指导),共同发起以“AI+Science”为主题的读书会,探讨该领域的重要问题,共学共研相关文献。读书会从2023年3月26日开始,每周日早上 10:00-12:00 线上举行,持续时间预计10周。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。


详情请见:
人工智能和科学发现相互赋能的新范式:AI+Science 读书会启动


非平衡统计物理读书会启动!


统计物理学不仅能解释热学现象,还能帮助我们理解从微观粒子到宏观宇宙的各个层级如何联系起来,复杂现象如何涌现。它通过研究大量粒子的集体行为,成功地将微观世界的随机性与宏观世界的确定性联系起来,为我们理解自然界提供了强大的工具,也为机器学习和人工智能领域的发展提供了重要推动力。


集智俱乐部联合纽约州立大学石溪分校教授汪劲、德累斯顿系统生物学中心博士后研究员梁师翎、香港浸会大学助理教授唐乾元,共同发起「非平衡统计物理」读书会,关注非平衡统计物理的前沿理论进展、生命和热力学、统计物理与机器学习交叉三个大的主题方向,涵盖热机优化问题、涨落相关的热力学、反常热力学现象、信息视角下的热力学、生命系统的景观和流理论、活性物质、生命系统、种群动力学、机器学习和人工智能等前沿话题。读书会计划从11月19日开始,每周二晚19:00-21:00进行。我们诚挚邀请相关领域的研究者分享的工作,也欢迎大家一起参与讨论交流!




点击“阅读原文”,报名读书会

集智俱乐部
关注复杂科学与人工智能的前沿进展、书籍资料、工具文献、交叉前沿等,同时也发布集智俱乐部、集智学园举办的各类讲座、课程等活动相关信息。
 最新文章