如同多年前量子力学引发的“意识决定物质"之争一样,如今LLM大模型的“涌现”又有一些人把科学未能证实的现象向玄学方向引导。如同“意识决定物质”的观点尚不具备科学可靠性一样,“涌现”的出现并不意味着有超自然的或超越物质的力量介入,而是系统内部的自组织和相互作用所导致的自然结果。
今天光哥从数据角度来探讨情感AI的局限性,即使大模型“涌现”出了一些强大的能力,GPT-4等模型还是难以具备同理心。
在AI、机器学习领域,模型的训练数据集对模型的性能有着至关重要的影响。GPT等大模型和训练数据集之间的关系是什么样的呢?数据、数据量、数据质量、数据的多样性直接影响大模型的学习能力、性能和表现。
1. 模型学习的知识来自数据:一个模型的学习能力和表现主要取决于其训练数据。模型通过在训练数据集上学习,获取和理解数据中的模式和规律,从而进行预测或决策。这就像一个人从学习和经验中获取知识和技能一样。
2. 数据量和模型的复杂性:大模型通常指具有大量参数的模型,这意味着它们具有很高的复杂性和灵活性,可以拟合复杂的函数和捕捉数据中的复杂模式。但这也使它们更容易过拟合,也就是说,如果训练数据不足或者质量不高,模型可能会过于依赖训练数据的特点,导致在新的、未见过的数据上性能较差。因此,大模型通常需要大量的高质量训练数据。
3. 数据的质量和模型的表现:不仅数据的量,数据的质量也对模型的表现有重要影响。如果数据包含噪声、误导性信息,或者不平衡,模型的学习能力可能会受到影响。因此,需要对训练数据进行适当的预处理和清理。
4. 数据的多样性和模型的泛化能力:训练数据集的多样性也会影响模型的泛化能力,也就是模型在未见过的数据上的表现。如果训练数据集覆盖了更多的情况和模式,模型就更可能在新的情况下表现良好。
正因为数据是如此的重要,当大家谈到情感AI时,不得不谈到我们目前所拥有的数据,人类的情感所需要的数据,比一般任务要难得多,且不说数据的质量,有一些重要的数据基本就是空白,或采集起来非常困难。至少以下几个因素:
1. 生理数据:生理反应往往与我们的情绪状态有密切关系。心率、血压、皮肤电导率、脑电波等都可以为我们的情绪提供重要的线索。然而,收集这些数据需要特定的设备和条件,不仅成本较高,而且可能涉及到个人隐私和伦理问题。
2. 面部表情和身体语言:面部表情和身体语言是我们表达情绪的重要方式。然而,捕捉和分析这些数据需要复杂的视频分析技术,并且在许多情况下,这些数据并不可用,例如在文本通信中。
3. 个人历史和背景信息:个人的历史家庭的历史经历、性格特征、文化背景等因素都会影响人的情绪反应。然而,收集这些数据往往非常困难和复杂,涉及到个人隐私问题,而且需要个人的主动提供和参与。这些数据往往时间跨度大,收集存储都面临着很大的挑战。
4. 情绪的内在体验:情绪本质上是一种主观的、内在的体验,这种体验是非常难以捕捉和量化的。即使我们可以收集到上述的生理数据、表情数据和背景信息,从现在的情况来看,我们也只能得到一种外在的、表面的情绪表现,很难直接了解到个人的内在情绪体验。
以上这些因素都对理解和处理人的情感至关重要,由于收集和分析都面临着许多挑战,包括技术挑战、隐私和伦理问题,以及情绪的主观性和复杂性。结合上面我讲过的大模型对数据集的依赖,您就应该明白为什么尽管GPT等大模型在一些任务的表现很出色了,但在理解和处理个人情感方面,我们仍然要慎重,不断去测试、证实。
科学不是玄学,科学与宗教的区别
尽管涌现问题在AI人工智能科学中存在一些难以解释的现象,我们要以客观的证据和科学方法来解释这类现象,保持开放学习的态度,鼓励科学研究和探索,以揭示涌现以及其他难以解释的现象的奥秘。
费曼在一篇文章中曾提到,科学与宗教的区别是,科学的核心是不确定性,宗教的核心是确定性。
也许正是宗教的确定性,让一些充满生活压力的人在现实中找到精神依靠,使他们情愿相信给他们确定性的理论。甚至一些朋友宣称“科学的尽头是玄学”、“当科学家爬到山峰时,佛学大师早就等在那里了”.......。其实,宗教和科学爬的本就不是一座山。