导语
读书会背景
读书会背景
读书会框架
读书会框架
发起人团队
发起人团队
贺敬,启元实验室研究员。博士毕业于北京大学,于清华大学完成博士研究。关注脑科学与人工智能交叉方向,以及脑疾病致病机理与干预策略研究。
报名参与读书会
报名参与读书会
运行模式
报名方式
第一步:扫码填写报名信息。
扫码报名(可开发票)
第二步:填写信息后,付费报名。
第三步:添加运营负责人微信,获取所有推荐论文资源包,拉入对应主题的读书会社区(微信群)。
PS:为确保专业性和讨论的聚焦,本读书会谢绝脱离读书会主题和复杂科学问题本身的空泛的哲学和思辨式讨论;如果出现讨论内容不符合要求、经提醒无效者,会被移除群聊并对未参与部分退费。
针对学生的退费机制
读书会通过共学共研的机制,围绕前沿主题进行内容梳理和沉淀,所以针对于学生,可以通过参与共创任务,获取积分,积分达到退费标准之后,可以直接退费。
加入社区后可以获得的资源
完整权限,包括线上问答、录播回看、资料共享、社群交流、信息同步、共创任务获取积分等。
参与共创任务获取积分,共建学术社区
读书会采用共学共研机制,成员通过内容共创获积分(字幕修改、读书会笔记、论文速递、公众号文章、集智百科、论文解读等共创任务),积分符合条件即可退费。发起人和主讲人同样遵循此机制,无额外金钱激励。
阅读文献
阅读文献
综述文章
这部分是发起人团队收集的有关整合信息论的综述文章,这些文章有的强调神经科学基础,有的强调整合信息Φ的计算方法,有的则对已有整合信息论研究文献进行了详尽的统计工作。阅读这部分文献可以让我们快速站在较高的山顶处俯瞰整合信息理论的全局。
推荐人:张江
[1] Zihan Ding, Xiaoxi Wei, Yidan Xu: Survey of Consciousness Theory from Computational Perspective - At the Dawn of Artificial General Intelligence, arXiv:2309.10063v1.
研究者从不同角度和层面发展了多种理论来解释人脑中的意识现象。这篇论文是对定量意识理论的一篇综述,梳理了源自不同学科的几个主要意识理论分支,其中对IIT理论的介绍非常清楚。文章也讨论了大语言模型是否具备意识的问题。
[2] Storm, Johan F., et al. An integrative, multiscale view on neural theories of consciousness. Neuron 112.10 (2024): 1531-1552, https://doi.org/10.1016/j.neuron.2024.02.004
意识体验与物质大脑过程如何相互关联?这篇意识理论的最新综述讨论了5种突出的、看似矛盾的意识理论(全局神经工作空间理论、整合信息论、循环加工理论、预测加工与神经表征主义、树突整合理论),以及如何将它们调和起来。
相关文章:《万字长文:意识的大一统理论要来了吗?》
[3] Luz Enith Guerrero, Luis Fernando Castillo, Jeferson Arango-Lopez, Fernando Moreira: A systematic review of integrated information theory: a perspective from artificial intelligence and the cognitive sciences, Neural Computing and Applications, Feb 07, 2023 https://doi.org/10.1007/s00521-023-08328-z
这是一篇比较全面的IIT理论的综述,建立在充分调研相关论文基础上,进行了统计分析。其中的亮点是有几个列表,列出了IIT的近似计算方法等。
[4] Giulio Tononi, Melanie Boly, Marcello Massimini and Christof Koch. Integrated information theory: from consciousness to its physical substrate. Nature Reviews Neuroscience 17.7 (2016): 450-461.
比较早的综述文章,综述了IIT理论的基本原理和实验进展,重点既包括IIT理论,又有“意识的物质基质”。
[5] Koch, C., Massimini, M., Boly, M. et al. Neural correlates of consciousness: progress and problems. Nat Rev Neurosci 17, 307–321 (2016). https://doi.org/10.1038/nrn.2016.22
与上一篇构成姊妹篇,仍然是关于“意识的神经相关物”(neuronal correlates of consciousness,NCC)。这篇综述表明意识的解剖学神经相关物主要位于一个包括感觉区域在内的后部皮层热点区域,而不是局限于参与任务监控和报告的额顶网络。
[6] Elamrani, Aïda, and Roman V. Yampolskiy. Reviewing tests for machine consciousness. Journal of Consciousness Studies 26.5-6 (2019): 35-64.
是否存在一种科学方法可以测试机器的意识?本综述介绍了测量机器意识的几种方法。
整合信息论(IIT)的核心主张是,意识与物理系统的因果结构是相同的,规定了不可化约的整合信息的最大值。意识的内容与因果结构的形式有关,而意识的水平则与因果结构的不可化约性有关,可用数字Φ来衡量。
相关文章:
IIT 基础理论论文
此部分列举了整合信息论发展的几个版本,我们可以看到一个理论日臻完善的发展过程。
[1] Tononi, Giulio, and Olaf Sporns. Measuring information integration. BMC neuroscience 4 (2003): 1-20.
该论文最早提出了有效信息。
参看:《全网最全总结!因果涌现核心指标“有效信息”|集智百科》
[2] Giulio Tononi. An information integration theory of consciousness. BMC Neurosci 5, 42 (2004). https://doi.org/10.1186/1471-2202-5-42
可能是最早提出整合信息论(IIT)的论文,或许可以看做是IIT1.0版本。
[3] Giulio Tononi. Consciousness as integrated information: a provisional manifesto. The Biological Bulletin 215.3 (2008): 216-242.
早期的整合信息论(IIT)论文,或许可以看做是IIT2.0版本。
[4] Masafumi Oizumi, Larissa Albantakis, Giulio Tononi. From the Phenomenology to the Mechanisms of Consciousness: Integrated Information Theory 3.0. PLOS Computational Biology, May 2014 | Volume 10 | Issue 5 | e1003588
IIT 3.0论文
[5] Larissa Albantakis, Leonardo Barbosa, Graham Findlay, Matteo Grasso, Andrew M. Haun, William Marshall, William G. P. Mayner, Alireza Zaeemzadeh, Melanie Boly, Bjørn E. Juel, Shuntaro Sasai, Keiko Fujii, Isaac David, Jeremiah Hendren, Jonathan P. Lang, Giulio Tononi. Integrated information theory (IIT) 4.0: formulating the properties of phenomenal existence in physical terms. PLoS computational biology 19.10 (2023): e1011465.
IIT 4.0论文
[6] Mallatt, Jon. A traditional scientific perspective on the integrated information theory of consciousness. Entropy 23.6 (2021): 650.
这篇文章比较了整合信息论(IIT)和神经生物自然主义(Neurobiological Naturalism)这两种意识理论。神经生物自然主义认为意识是是由大脑的神经生物学过程产生,是复杂大脑的演化涌现特征。
[7] Hunt, Tam. Calculating the boundaries of consciousness in general resonance theory. Journal of Consciousness Studies 27.11-12 (2020): 55-80.
我们可以将整合信息论与意识的共振理论进行比较。Hunt 和 Schooler 提出意识的一般共振理论(General Resonance Theory, GRT),认为意识是不同物理尺度上各种共享的共振频率的产物。本文提出了一种启发式方法,用于计算这种共振结构中现象意识的边界及其结果能力。共享共振导致信息交换的速度和带宽发生相变,从而产生更丰富、更复杂的意识。该方法可以解决意识到“组合问题”和“边界问题”。
近似计算Φ或替代方法
原始的Φ定义牵涉到遍历对已知系统的所有可能划分,这显然会出现指数爆炸的问题。于是,人们不得不发明各种手段来近似地计算Φ,本模块的论文列举了各种近似计算Φ的论文。
推荐人:张江,吕奥博
[1] Barrett, Adam B., and Anil K. Seth. Practical measures of integrated information for time-series data. PLoS computational biology 7.1 (2011): e1001052.
第一篇提出用高斯分布简化IIT的论文,并指出用Total correlation可以替代Φ。整合信息指标ΦDM量化系统整体产生的信息大于部分之和,有可能用于测量神经系统的意识水平。然而这个指标只适用于离散马尔可夫系统,本文提出ΦAR和ΦE两个指标,更容易应用到实际的时序数据。
[2] Masafumi Oizumi, Shun-ichi Amari, Toru Yanagawa, Naotaka Fujii, Naotsugu Tsuchiya. Measuring integrated information from the decoding perspective. PLoS computational biology 12.1 (2016): e1004654.
本文提出用于度量整合信息的实用指标 Φ*,用高斯分布近似计算,并进行实证研究。这个指标可用于意识研究中的整合信息测量,并作为生物领域的网络分析工具。
[3] Anil K. Seth, Adam B. Barrett and Lionel Barnett. Causal density and integrated information as measures of conscious level. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences 369.1952 (2011): 3748-3767.
本文比较了两种度量:因果密度(causal density)与整合信息(integrated information),并给出近似计算法。这些指标以不同方式捕捉系统动力学分化和整合的程度。
[4] Sevenius Nilsen, André, Bjørn Erik Juel, and William Marshall. Evaluating approximations and heuristic measures of integrated information. Entropy 21.5 (2019): 525.
目前只有对非常小的模型系统才有可能计算Φ,通常与大脑意识相关的系统还远未达到可计算的程度。本文比较全面地提出了几种启发式度量和计算近似方法,可以用于大系统中的近似IIT计算。
这项研究中使用的工具包:Python ‘‘Pyphi toolbox’’— Matlab ‘‘Practical PHI toolbox ’’
[5] Satohiro Tajima, and Ryota Kanai. Integrated information and dimensionality in continuous attractor dynamics. Neuroscience of consciousness 2017.1 (2017): nix011.
这篇论文提出一种用“延迟嵌入”(delayed embedding)技术来近似计算整合信息的方法。
[6] Kitazono, J., and M. Oizumi. Practical PHI toolbox for integrated information analysis (Version 1.0). (2018).
https://github.com/oizumi-lab/PhiToolbox
Matlab 代码工具箱用于整合信息理论(IIT)的近似计算。
[7] Krohn, S., Ostwald, D. (2017). Computing integrated information. Neuroscience of consciousness, 3(1): 1-16.
Matlab 工具箱
[8] Tozzi, Arturo. The multidimensional brain. Physics of Life Reviews 31 (2019): 86-103.
‘‘HypeTools’’, 用于操作和可视化大型高维数据库的Python工具箱
以下几篇论文从信息几何视角计算整合信息,该方法比现有所有 Φ 的计算方法都要接近 ground truth。
[9] Ay, N. (2015). Information geometry on complexity and stochastic interaction. Entropy, 17(4), 2432-2458.
[10] Ay, N. (2002). An information-geometric approach to a theory of pragmatic structuring. The Annals of Probability, 30(1), 416-436.
[11] Amari, S. I., Tsuchiya, N., & Oizumi, M. (2018). Geometry of information integration. In Information Geometry and Its Applications: On the Occasion of Shun-ichi Amari's 80th Birthday, IGAIA IV Liblice, Czech Republic, June 2016 (pp. 3-17). Springer International Publishing.
[12] Oizumi, M., Tsuchiya, N., & Amari, S. I. (2016). Unified framework for information integration based on information geometry. Proceedings of the National Academy of Sciences, 113(51), 14817-14822.
在神经科学中的实验验证
本模块主要介绍整合信息论与神经科学的关系。作为一种定量刻画意识的理论,整合信息论不仅可以帮助人们回答一个复杂的神经系统的意识度量值是多少,还能够回答意识发生于何处。
推荐人:贺敬,张江
文献 [1-7] 是关于 Cogitate 项目及相关讨论。Cogitate 是一个创新的开放科学项目,致力于促进整合信息理论(IIT)和全局神经元工作空间理论(GNW)这两种意识理论之间的对抗性合作。
[1] Cogitate project, https://www.arc-cogitate.com/
Collaboration Project On GNW and IIT: Testing Alternative Theories of Experience
Cogitate 项目网站
[2] Melloni, L., Mudrik, L., Pitts, M., & Koch, C. (2021). Making the hard problem of consciousness easier. Science, 372(6545), 911-912.
这篇 Science 观点文章简要介绍了 Cogitate 项目。
相关文章:Science:怎样让意识难题变得简单?
[3] Cogitate Consortium, et al. An adversarial collaboration to critically evaluate theories of consciousness. BioRxiv (2023): 2023-06. https://www.biorxiv.org/content/10.1101/2023.06.23.546249v2.abstract
判断整合信息论(IIT)和全局神经元工作空间理论(GNW)的关键试验。Cogitate project Experiment 1 Results。
[4] Melloni L, Mudrik L, Pitts M, Bendtz K, Ferrante O, Gorska U, et al. (2023) An adversarial collaboration protocol for testing contrasting predictions of global neuronal workspace and integrated information theory. PLoS ONE 18(2): e0268577. https://doi.org/10.1371/journal.pone.0268577
测试整合信息论(IIT)和全局神经元工作空间理论(GNW)的对立预测的协议。
[5] Lepauvre, A., Melloni, L., Hirschhorn, R., Mudrik, L., & Bendtz, K. (2024). A standardized framework to test event-based experiments. https://doi.org/10.31234/osf.io/5ztnb
标准化框架用于测试基于事件的实验,帮助研究者提高实验结果的可重复性。
[6] The Integrated Information Theory of Consciousness as Pseudoscience,https://psyarxiv.com/zsr78
124位科学家发表签名信,批评整合信息论是伪科学。
相关文章:124位科学家批评整合信息论是伪科学:我们该如何探讨意识难题?
[7] Erik Hoel: Ambitious theories of consciousness are not "scientific misinformation",https://www.theintrinsicperspective.com/p/ambitious-theories-of-consciousness
因果涌现理论提出者 Erik Hoel 发文回应以上签名信中指出的问题。
[8] Li, Bing, et al. Circuit mechanism for suppression of frontal cortical ignition during NREM sleep. Cell 186.26 (2023): 5739-5750. https://www.cell.com/cell/fulltext/S0092-8674(23)01229-1
意识的神经回路,支持全局工作空间理论。
[9] Pizzi, Rita, and Marialessia Musumeci. Coding Mental States from EEG Signals and evaluating their Integreted Information Content: a Computational Intelligence Approach. International Journal of Circuits, System and Signals Processing 11.4464 (2017): 464-470.
在EEG信号上测量整合信息论(IIT)。
[10] Kitazono, Jun, Ryota Kanai, and Masafumi Oizumi. Efficient search for informational cores in complex systems: Application to brain networks. Neural Networks 132 (2020): 232-244.
这篇文章提出一种快速精确搜索的 HPC 算法 (Hierarchical Partitioning for Complex search) ,可以找到脑网络中的信息核“complex”,此处信息损失是局部最大的。
[11] Ikle M, Goertzel B, Bayetta M, Sellman G, Cover C, Allgeier J, Smith R, Sowards M, Schuldberg D, Leung M, Belayneh A, Smith G, Hanson D (2019) Using tononi phi to measure consciousness of a cognitive system while reading and conversing. https://ceur-ws.org/Vol-2287/paper20.pdf Accessed, 2020
整合信息论在神经系统中的实际应用。
IIT在复杂系统中的拓展应用,Φ与系统临界态
如今,整合信息论已经发展成为一种跨学科的基本方法,人们尝试将Φ指标应用于脑神经系统之外的系统,例如蚁群、秀丽线虫等。除此之外,也有不少科学家感兴趣Φ与系统临界态的关系是什么。
推荐人:张江
IIT在复杂系统中的拓展应用
[1] Friedman, Daniel A., and Eirik Søvik. The ant colony as a test for scientific theories of consciousness. Synthese 198.2 (2021): 1457-1480.
在蚁群中应用意识度量。当下的意识理论是对意识的前向测试,试图对任意状态和系统的意识水平进行分类。这项研究引入蚁群测试(Ant Colony Test)作为一种严格的意识反向测试。
[2] Antonopoulos, Chris G., Athanasios S. Fokas, and Tassos C. Bountis. Dynamical complexity in the C. elegans neural network. The European Physical Journal Special Topics 225 (2016): 1255-1269.
在秀丽隐杆线虫神经网络中应用意识度量。研究揭示秀丽隐杆线虫大脑动态网络产生的信息超过其组成部分之和。
[3] Varley, Thomas F., and Josh Bongard. Evolving higher-order synergies reveals a trade-off between stability and information-integration capacity in complex systems. Chaos: An Interdisciplinary Journal of Nonlinear Science 34.6 (2024).
这项研究利用布尔网络研究了高阶协同与整合信息值的关系。
相关文章:意识如何自下而上地涌现?来自系统生物学的启示 | 长文综述
Φ与系统临界态
[4] Aguilera, Miguel, and Ezequiel A. Di Paolo. Critical integration in neural and cognitive systems: Beyond power-law scaling as the hallmark of soft assembly. Neuroscience & Biobehavioral Reviews 123 (2021): 230-237.
IIT与临界。本文将整合信息与神经认知系统中的临界性联系起来,将整合信息看作是临界点附近组织变化的敏感性。
[5] Langer, Carlotta, and Nihat Ay. How morphological computation shapes integrated information in embodied agents. Frontiers in psychology 12 (2021): 716433.
利用神经网络,结合不同方法来检查由神经网络控制的智能体的身体、大脑和环境之间和内部的信息流动及其整合信息。
[6] Popiel NJM, Khajehabdollahi S, Abeyasinghe PM, Riganello F, Nichols ES, Owen AM, Soddu A. The emergence of integrated information, complexity, and ‘consciousness’ at criticality. Entropy 22.3 (2020): 339.
整合信息论(IIT)中的整合信息Φ与临界。用推广的伊辛模型来计算Φ,实验观察到Φ作为序参量在临界点附近经历相变。
[7] Aguilera, Miguel. Scaling behaviour and critical phase transitions in integrated information theory. Entropy 21.12 (2019): 1198.
整合信息论(IIT)目前很难应用于大型系统,因而并不清楚整合信息如何随着系统尺度增大而变化。这项研究用一个临界相变的简单模型来研究整合信息的标度行为。
从意识科学到机器意识
意识被称为数千年人类认知历史上的“难问题”,机器意识被称为人工智能的“皇冠上的明珠”。正如Hinton、Ilya、李飞飞等人在讨论和争论的,大模型是否拥有一定程度的意识?人工智能系统是否能拥有意识?什么样的理论和技术路径可能支撑人工智能系统拥有意识?拥有意识给人工智能系统带来的任务性能上的跃升是什么?随着人工智能尤其是大模型的爆发式发展,这些问题不仅挑战着我们的认知边界,也正在迅速引发学术界的大量关注和研究。这部分主要探讨意识理论如何影响机器意识的研究。
推荐人:岳玉涛
[1] Dehaene S, Lau H,Kouider S. What is consciousness, and could machines have it? Science, 2017, 358(6362): 486−492
基于人的意识理论对机器意识的特征和层次做定义和计算,并认为“现有的深度学习系统”不具备意识。
相关文章:重磅:我们可以从科学的角度解读意识吗?| Science 综述
[2] Carter O, Hohwy J, Van BoxtelJ, Lamme V, Block N, Koch C, et al. Conscious machines: defining questions. Science, 2018, 359(6374): 400−40015
反对 Dehaene 2017年论文中的观点,认为其问错了问题,且分析若按其定义,现有深度学习系统其实具有意识。
[3] Chen, D. et al, Self-Cognition in Large Language Models: An Exploratory Study, ICML2024
建立评估AI系统自我认知的体系,并对各个大模型进行评估。
[4] Jones, Cameron R, Benjamin K Bergen, Kyle Donell, Laria Richardson, Leo Reynolds, Li Gao, Liam Zhang, et al. n.d. “Does GPT-4 Pass the Turing Test?”
对GPT-4进行图灵测试的实验设计和结果分析。
[5] Kwiatkowski R, Lipson H. Task-agnostic self-modeling machines. Science Robotics, 2019, 4(26):eaau935416
用一个四自由度机械臂的自我建模(作为意识的一个特性)来展示其给任务性能带来的优势。
[6] Li S G, Batra R, Brown D, Chang H D, Ranganathan N, Hoberman C, et al. Particle robotics based on statistical mechanics of loosely coupled components. Nature, 2019, 567(7748): 361−366
“意识机器”初探:如何让大语言模型具备自我意识? 意识机器:ChatGPT 能否拥有自我意识? 让 ChatGPT 拥有意识,冯·诺依曼会怎么做?——自指机器的奥秘 ChatGPT 向通用意识机器进化的关键——自指的启示
科普文章
https://www.scientificamerican.com/article/a-test-for-consciousness/
Stanislas Dahaene 和 Christof Koch 两位现代意识理论先驱的访谈,他们分享了对意识研究现状、取得的成果和潜在的未来方向的看法。
https://www.cell.com/neuron/fulltext/S0896-6273(24)00159-4