我们的大脑赋予我们每个人经验这一重要能力，它使我们可以了解这个世界。我们对世界的经验也指导着我们在环境内外部的行为。毫不夸张地说，没有感觉能力，一切都将变得不再重要。恢复、增强和修正经验所做出的努力恰如其分地源于它的重要性，当然，这也是神经技术的主要目标。同样，希望神经技术提供的工具将帮助我们了解感知与大脑活动的客观测量是如何相关的，并确定经验是否可能用于AI。
为了实现这些目标，我们必须了解关于感知的相关问题什么?我们目前是否能够弥合神经活动的客观描述和经验的主观质量之间的鸿沟？提出这些问题使我们得到了一个可测试的经验理论，这些经验理论是由皮质假体视觉(Cortical Prosthetic Vision)提供的。它还使我们相信，我们可以通过将感知的特定方面作为研发的重点，加速神经技术领域的进步，并更负责任地创造人工智能。
· 增加一种新的感知方式
我们想要明确我们的定义：有知觉(Sentient)就是有感知(Sense)的能力、有主观经验/体验(Experience)。我们从这个定义开始，因为有些作者在使用这个术语时包含了更多的内容，所以要声明以做出区分。作为人类，我们非常熟悉感知，因为我们所知道的日常现实是由它的各个方面组成的。不幸的是，当我们试图理解体验的特性是如何从大脑的物理过程中产生时，这种对感知的熟悉似乎没有多大帮助。
与感知有关的大脑活动的惊人复杂性使这一挑战更加严峻。例如，一个人超过50%的大脑皮层与视觉有关。我们的科学和技术目前都无法处理可能涉及创造视觉体验(Creating a Visual Experience)的众多尺度上的神经活动及其相互关系。显然，如果我们的目标是理解包括其他感官形式在内的体验是如何产生的，事情就会变得更加复杂。寻找测试意识理论的方法本身已经成为一个重要的研究目标，这并不奇怪。
(The primary visual cortex, Brodmann area 17. Image sourced from Wikipedia (public domain).)
幸运的是，神经技术通常关注体验的特定方面，而不是作为一种普遍能力的感知能力。本文认为，对感知的特定方面的研究应该包括在旨在恢复、修改或增强这些方面的神经技术应用中。我们希望通过关注体验的具体方面，使理论构建和实证检验更加频繁和实用。
如果我们要取得进展，我们需要将个体方面的体验模型与客观的神经活动联系起来的理论。因此，谨慎的做法似乎是先从易于进行建模的体验方面开始。如果使用这些模型的理论能够让我们做出可以使用现有技术进行测试的预测，那么这些理论将是有用的。
创建所需的模型和设计理论将需要适合体验方面的方法和概念，这是研究的重点。正是因为这个原因，我们不严格遵循计算和信息处理的方法。当然，这并不意味着我们应该在可行的情况下避免使用计算机模拟。神经网络的模拟非常有用，特别是当我们甚至不知道被认为发挥特定作用的生物网络是局限于皮层的单个区域还是分布在几个不同的区域时。
前面的每一个考虑因素在接下来的事情中都起着重要的作用。为了强调感知在大脑中是多么格格不入，我们将以第一人称的方式开始。
· 感知的奥秘及其影响
为了理解为什么感知看起来如此神秘，思考现实生活中的情况是非常有用的。所以，请想象自己处于以下场景中(其中一位作者最近感受到的自身体验)：
当验光师问你“哪个更好，选项1，还是选项2?.....(她通过改变镜片来改变进入你眼睛的光线的折射)”时，你专注于你感受到的对于一排小字母的体验，你其实看不出有什么区别。你可以很容易地识别出这两种情况下的字母。但是选项1中的黑色字母和白色背景之间的对比，比选项2中的要尖锐一些。你更希望看到选项1呈现给你的世界，然后你回答，“选项1更好”。
这种常见的比较程序的实用价值取决于视觉的两个特性。其中一个特点是视觉能够以体验的形式表现环境。验光师依靠你对视力表的主观体验来确定两种镜片中哪一种能更好地纠正你一只眼睛的屈光不正。她还依赖它的另一个功能，那就是它能让她了解你的体验。当你说选项1比选项2更好时，两个特性都显示出来了。
让我们更深入地研究一下这个问题。客观地说，视觉完全由神经过程组成。可见光在视觉中的作用止于视网膜。这种非常复杂的结构是分层的神经组织，在胚胎发育期间，它缠绕在眼睛背面的内表面。创造视觉体验的内容，首先是将光能转化为电势的变化，这个过程由视网膜中的杆状和锥状感光器完成。从这一点开始，视觉将是一个神经过程，我们通过测量神经元细胞膜上的电势差异，以及通过这些细胞膜上特殊通道的离子电流来了解。所有这些都适用于其他形式的感觉，每一种感觉都是由某种形式的能量在神经系统和环境的界面/接口(Interface)上调节电位和离子电流开始的。
我们可以并且确实在用主观体验的日常语言和神经过程客观测量的科学语言来谈论视觉。显然，这些语言提供的对视觉事件的描述必须以某种方式相关。必须有一种方法将两种语言翻译成另一种语言，从“视网膜输出产生的电位和离子电流的测量”，到“您对黑色字母和白色背景之间的对比的体验”，再到“电位和离子电流的测量使您的报告产生选项1更好”。只有当我们真正尝试去理解为什么会产生这样的翻译时，谜团才会出现。
显然，如果我们放弃对客观物理世界的认识，我们将无法理解任何事情。例如，我们不能做出任何违反能量守恒原理的假设，或者任何其他物理原理假设。
我们也不能通过暗示体验是幻觉、体验不存在、体验只是神经活动无关紧要的副作用来希望那层神秘感就此消失。这些观点对任何正在遭受任何形式感官障碍的人都没有帮助。对于那些试图开发有用的假体设备的人以及那些试图确定人工智能是否具有任何形式的感知能力的人来说，这样不负责的假设和暗示对它们同样没有帮助。在这些情况下，理解感官体验是至关重要的。
视觉在其他感知形式中的重要性要求我们思考不理解神经数量的客观测量与体验方面之间的关系的后果。结果之一是，我们恢复、增强或修改体验的尝试将依赖于数据，这些数据最终终止于神经过程和体验之间无法解释的相关性。使用大脑深部刺激治疗抑郁症，用精神药物治疗精神疾病，试图通过对视觉皮层的电刺激来制造一个有用且安全的视觉假体，这些都是临床干预的例子，它们未能将神经过程和体验联系起来，类似的例子还有很多。
这种无法解释的相关性也意味着，没有人真正知道一个在模仿人类行为方面做得很好的人工智能是否经历/体验了任何事情。例如，最近有一项关于评估人工智能是否创造有意识体验(whether an AI creates conscious experience )的提案，是基于从意识理论中挑选出来的指标提出的。系统化地解释和形式化感知(formalizing sentience)对于解决这些重要问题至关重要。设想一下，如果我们能够解释神经过程如何与我们希望恢复(或改变或检测)的体验方面相关，那么这些工作努力将如何得到完善，就像与我们对动作电位背后机制的解释提供的细节和准确性程度相同。这种改进将使我们能够根据个别患者的需要量身定制深部脑刺激，避免精神药物的不良“精神活性效应”，并提高皮质视觉假体的质量和效用。并且它允许我们指导在AI中应该包含或排除特定类型的感知。
本文想分享一下我们个人对没有这种解释的反应。我们觉得这难以忍受，我们希望您也这样认为。仅在过去二十年里，神经科学的进步就令人震惊。特别关注感知的研究也取得了令人印象深刻的成绩。为什么我们还不能把目前还是一个谜的问题变成各种各样的科学和工程问题？怎样迈出第一步，才能让我们走上理解的道路？
我们可以从重新定义科学的奥秘开始：它是缺乏一个理论来解释任何特定方面的体验的物理意义。这个术语是我们用来解释这方面的体验与我们用于测量、建模和模拟神经元及其相互作用特性的概念之间关系的简写。如果我们能够提出一种理论来提供这种解释体系，并且该理论在逻辑上是一致的，并且做出了可验证的预测，那么它将为一些重要问题提供答案，例如：
“这种特殊的体验是如何产生于——并影响——我们熟知的神经过程的?”
此外，如果从该理论得出的预测始终得到证实，如果该理论提出了恢复、增强或修改特定体验方面的新方法，那么它将是神经技术工具包的有用补充。
如下所述，我们设计了一个由皮质假体视觉产生的体验方面的理论，原因有几个。我们将首先说明现有概念告诉我们什么，然后再次围绕“视觉”提供示例。
· 我们从现有的概念和数据中学到了什么
我们的皮质假体视觉理论是基于一个实际的、有用的、但在很大程度上被忽视的关于体验本质和体验的各方面作用的观点。当把这两种信息源放在一起考虑时，就有可能产生一种新的且可测试体验的不同类型的神经网络，它们可能在创建和报告对体验的特定方面和某些神经量之间关系的解释方面发挥作用。
以证实广义相对论而闻名的英国物理学家和科学哲学家阿瑟·爱丁顿(Arthur Eddington)在《物理世界的本质》(Nature of The Physical World)中写道，我们对物理现象的科学知识严格依赖于描述这些现象的量的测量，使用数据和系统的抽象来设计理论和发现物理定律，而不是将它们与日常经验联系起来。关于精神现象，爱丁顿写道，如果不把它们与一个为它们的存在提供必要条件的框架联系起来，然后再去思考它们从哪里来，那将是“相当愚蠢的”。
1996年，皮特·胡特(Piet Hut)和罗杰·谢泼德(Roger Shepard)朝着提供这样一个框架迈出了一大步。Piet Hut是一位理论天体物理学家，以跨学科合作而闻名，Roger Shepard是一位认知心理学家，被认为是空间关系(Spatial Relations)的“研究之父”。Hut和Shepard在《意识研究杂志》(Journal of Consciousness Studies)上发表了一篇论文，对他们所谓的研究意识体验问题的“标准科学方法”进行了高度批判。他们比较了在没有使意识体验存在的背景的情况下试图理解意识体验和在没有时间背景的情况下试图理解运动这两种情况。Hut和Shepard得出结论，我们应该接受与时间和空间同等地位的“感觉”背景的存在。
接受感官背景与Eddington的建议是一致的，并且为我们努力发展体验的特定方面的理论提供了明确的方向。为了完成这项任务，我们需要对体验的各个方面进行建模，使我们能够将它们包含在描述神经网络的方程系统中。前馈神经网络似乎特别适合于提供有关环境特征的信息，这些信息可用于构建该环境的经验表示。它们似乎也很适合从一个网络到另一个网络交流体验/经验方面的信息。某些高度互联的神经网络似乎同样适合于创造这种表现。在一个高度互联的网络中发生的无数相互作用产生了持续的动态，这可能是长期存在的模式的基础。
也有证据表明，高度互联的网络直接参与了创造客观测量无法揭示的模式的可能性。例如，本文的一位作者曾经模拟了一个网络，其中1089个兴奋性神经元和121个抑制性神经元在一个虚拟的二维晶格中被分配位置。网络中每个突触的强度被设置为晶格上相互作用的神经元位置之间距离的函数值。值得注意的是，所有1089个兴奋性神经元对所有目标产生的效应的大小变化中，超过99%的变化可仅用两个维度来解释。这个网络表现得好像存在于一个二维世界中，它决定了突触相互作用的强度。如果突触强度取决于虚拟三维晶格中的距离，那么就需要三个维度来解释每个神经元对所有目标的影响。我们能否将这些信息与感觉背景的概念结合起来，来理解体验的某一方面如何与神经活动的客观测量相关联？
· 把这些想法付诸实践
你的视觉皮层中的神经元通过前馈网络，从众多的来源接收大量的信息，包括环境中点之间的距离，以及你和环境中的点之间的距离。(感觉和知觉教科书中的一个或多个章节通常专门用于描述这些信息来源)。假设在你的大脑皮层中有一个突触系统，它是一个相互连接的神经网络，其强度都是基于这些信息的神经量的函数。
我们将用一个图表来建立突触相互作用系统和你视觉体验的一个特定方面之间的联系。这张图的目的是捕捉当你聚焦在图像的中心时可能看到的东西：你看到细节的能力在你的视线指向的地方是最好的，随着距离这个点的距离增加而迅速下降。现在让我们想象一下，我们剥离了你对图形的所有体验，除了它的几何结构。这种结构可以想象成一种看不见的织物，它形成了每个视觉物体的形状和它出现的背景。它由包含在视觉区域中的几何点组成，这些视觉区域包括船只、建筑物和背景的形状。它还包括这些点对之间的距离和方向，以及你的位置和这些点之间的距离和方向。每个方向-距离对都可以被认为是一个几何矢量，从一个点开始，在另一个点结束，并在视觉空间中提供方向和距离感。在你的视线集中的船的位置，视觉区域是最小的，并且随着距离的增加而逐渐变大。
我们现在可以回到你大脑皮层中丰富的相互连接的神经网络，它具有突触相互作用的强度，这些强度都是基于你视觉环境中距离信息的神经数量的函数。当整个神经网络中的神经元变得活跃时，从视觉距离到每个突触相互作用强度的单一映射就形成了。在接受了感觉背景的存在之后，我们建议每个交互都涉及一组具有共同幅度的视觉几何向量，并且活跃交互的神经元参与到该集合中向量开始和终止的视觉区域当中。
换句话说，我们建议所有关于距离的信息都是由一个具有空间和感知方面的持久模式整合的。空间方面由客观交互神经元占据的皮层区域及其突触交互强度组成。感知方面由视觉体验的几何结构组成。(这为“这种特殊的体验质量是如何从被充分理解的神经过程中产生的?”这一问题提供了一种答案)。
如果模式中的感知方面是对即时环境几何形状的忠实表现，那么突触相互作用的强度也会随着即时环境中距离的变化而变化。此外，环境几何形状的变化可以通过前馈网络，产生一些突触强度的变化，这些变化将导致网络神经元产生的尖峰(Spikes)频率分布也发生变化。通过这种方式，尖峰频率分布可以携带有关世界的信息，并报告世界的主观表征。(这就回答了“这种特殊的体验如何影响我们熟知的神经过程?”这个问题。)如果由这些信息引导的行为导致了错误，比如对距离的误判，那么这个错误可以通过改变映射到突触强度的网络量的值来纠正。
从本质上讲，这种神经网络将形式(对环境的主观表征)和功能(在该环境中指导行为的信息)以单一模式结合起来。这种模式与其他具象模型的不同之处在于它的感知和空间方面以及它们之间存在的关系。
· 由皮质假体视觉提供的经验方面的可测试理论
我们设计刚刚概述的解释的动机是实用的。我们想要建立一个可测试的理论来证明某方面经验的物理意义，这样我们就可以通过神经技术来努力恢复、增强或改变这方面的体验。我们选择皮质假体视觉作为这种理论的测试案例的主要原因很简单：它提供的体验方面很容易建模，并且测试理论的预测可以提供一种提高假体视觉体验的效用和质量的方法。
1957年，约翰·C·巴顿发明了第一个皮质视觉假体，第二年，《Radio Electronics》杂志发表了一篇关于这个简单装置的戏剧性演示。一名失明18年的妇女自愿将两根不锈钢丝暂时插入她的初级视觉皮层。当光电管(photocell)检测到光源时，它激活了一个方波发生器，通过其中一根电线将电流输送到她的视觉皮层。当电流进入她的大脑皮层时，这位女士报告说她经历了一个模糊的亮点，或称光幻视。
正如已发表的大脑刺激研究结果所预期的那样，光幻视出现在女性视野中的一个区域，该区域是由视觉皮层的受刺激区域的位置决定的。利用她对光幻视的体验，加上她对光电管指向方位的本体感受反馈的体验，这位盲人志愿者能够穿过一个有“光源障碍物”的走廊。
在这中间的几十年里，关于视觉和视觉系统的大量信息已经变得可用，实验性的皮质假体视觉系统已经变得非常复杂。然而，皮质视觉修复的质量并没有得到很大的改善。考虑到植入电极所需的外科手术所带来的视觉体验的低质量和实用性，最近对视网膜或大脑植入的预期接受者的样本表明，皮质植入的感知风险(Perceived Risk)超过了感知到的视力方面益处(perceived benefits to vision)，这并不奇怪。
研究人员非常清楚这一点需要改进。预计使用微电极阵列的训练接受者可以刺激视觉皮层中大量的小区域，以及技术的进步将导致皮质假体视觉的效用显著增加。一个这样的进步是使用生物逼真的光幻视模拟来优化光幻视的表现。
一个有用的理论——解释了光幻视和它们所占据的视觉空间如何与丰富互联的神经网络中的数量相关——可以通过预测创建所需光幻视模式的新方法来补充支持这些努力。特别是，它可能提供一种新的刺激方案，允许我们将图中上三个小图中显示的光幻视的典型模式，改变为底部下三个小图中显示的模式。
构建光幻视和它们所占据的视觉空间的模型并不困难。视觉空间由视觉几何组成，其中包括与视觉皮层列相对应的视觉区域，以及区域内和区域之间连接点的视觉方向和距离(向量)。一个区域上的模糊光幻视的体验可以用一个亮度值的间隔来表示，这个亮度值的间隔比那些在表示暗区域的间隔中发现的要大得多。亮度的差异可以用对应于亮度通道神经元中动作电位频率的实数来建模。
具有两个突触系统的高度互联的神经网络应该能够在视觉几何上创建亮度间隔。对这种网络的模拟已经产生了非常有希望的结果：有证据表明，在一个临界点上，视觉几何图形和亮度间隔模式预计会出现；有证据表明，尖峰频率分布携带着有关幻视的预期数量和分布的信息；有证据表明，尖峰频率分布的分类与预期一致，即改变某些突触强度可以改变视觉区域的活动。
这些积极的结果促使我们提出了一种方法，通过一种神经形态装置——也就是一种由类似神经元的电子元件组成的装置——可以通过创造第二种视觉几何图形来改变光幻视的大小和形状，如上图底部三个面板所示。再一次，为模拟提供了积极的结果。我们希望在不久的将来，这种神经形态装置能在人类志愿者身上进行无创的经验测试。然后志愿者们可以告诉我们，这个设备是否像我们期望的那样改变了他们体验的某个方面。
· 今后的发展方向
模拟结果表明，光幻视在视觉区域的分布信息是由尖峰频率分布携带的。这表明，训练一个简单的前馈神经网络来明确这些信息几乎肯定会成功。具体来说，在输出层中，对应于光幻视出现的视觉区域的神经元必须以远高于对应于暗视觉区域的神经元的频率放电。成功的模拟之后，必须对人类志愿者使用无创记录和刺激方法进行预测的经验测试。对于任何声称能够解释某方面的经验如何与神经活动的客观测量相关联的理论，都需要从人类志愿者那里获得经验报告。
应用于体验的其他方面需要了解环境的相关特征的皮层表征和这些体验方面的模型的构建。皮肤上的压力感觉和体表在初级体感皮层的表征表明，压力模型可能类似于皮质假体视觉的亮度分布模型。声音频率在听觉皮层的表征以及客观声音频率与主观音高之间的关系为这方面的体验提供了起点。然而，建模音调(modeling pitch)并不简单。关于诸如气味等体验方面的皮层表征的可用信息要少得多。这可能是人工智能可以做出重大贡献的研究领域。我们期望对经验的许多方面进行建模，即使是在视觉、体感和听觉系统中，也需要由我们大多数人还不熟悉的数学领域提供的工具。
具有讽刺意味的是，一些人工智能软件的应用程序可能需要更少的信息。如果与人类体验的相似性不是问题，那么环境的相关特征的表示和要模拟的体验方面的模型都可以设计到AI系统中。
我们中那些希望利用神经技术来恢复、修改或增强人类体验的人，需要停止“围绕”感知问题(sentience problem)进行解决。在假体装置和脑机接口方面进行的出色研究显然必须继续下去。但是，这些努力应该得到同样出色的努力的支持与补充，这种努力是以体验的目标方面的实际意义为基础的。理论研究、模拟和神经形态设备的发展，这些都是基于体验测试的，专注于体验方面的物理意义，可能会改变许多人的游戏规则。是时候把更多的人性融入神经技术了。
Written by Raymond Pavloski and Nikolaus Pavloski, with editing by Shubhom Bhattacharya and Lars Olsen.
Raymond Pavloski earned a PhD in psychology from McMaster University, conducted post-doctoral research in psychophysiology, and worked in a hospital-based Behavioural Medicine Unit prior to starting a lengthy career in academia. He co-founded and co-owns neurotech startup Inpsyphys.
Nikolaus Pavloski has worked in advertising, finance, and transportation. He co-founded and co-owns neurotech startup Inpsyphys.
Shubhom Bhattacharya is an engineer who works on a clinical trial for vision restoration for a startup in New York City.
Lars Olsen is a regulatory medical writer. He works in the pharmaceutical industry writing submission documents, and has additional experience with medical devices. He has a biology background and is interested in AI, AGI/ASI, and BCI/HCI.
