欢迎转载，转载请注明来源！
有条件的，请在文末点一个“在看”！大家好，我是白水。
今日，据《雅虎科技》网站报道：生成式人工智能存在可靠性问题，而神经符号人工智能将解决这个问题！![]()
声明：本文所有信息和数据，全部来自互联网公开信息，仅代表本公众号的个人意见，与SAP公司的立场无关！
![]()
图源：www.sap.cn
SAP 是依靠创新使用神经符号人工智能（Neurosymbolic AI）来克服大型语言模型 (LLM) 的可靠性不足等局限性的公司之一。SAP 首席人工智能官菲利普·赫尔齐格（Philipp Herzig）讨论了一个例子，SAP 引入了一个带神经符号人工智能的正式解析器来训练 ABAP 编程语言的大语言模型，将其准确率从 80% 提高到 99.8%。菲利普·赫尔齐格说：“突然之间，你基本上停止了幻觉，大语言模型出来的结果不再胡说八道了……”SAP 还在开发自己的基础模型，该模型将知识图谱（Knowledge Graphs）与变换器架构（Transformer Architcture）相结合，以增强对结构化数据的预测。菲利普·赫尔齐格说：“这种更加综合的学习方法也看起来非常有前景……” 当今的生成式人工智能能够做出令人惊叹的事情。它似乎可以理解我们所说的话，并对我们的查询做出非常人性化的响应。但即使是最新的大型语言模型，如 OpenAI 的 o1，也无法从本质上理解某件事是否真实。
它们仍然会无中生有地捏造东西——这种现象被称为“幻觉”——而且它们做出决定的方式在很大程度上仍然不透明。
克服这些限制，可能意味着转向一个古老而看似过时的想法，即创造新的东西。
这个过时的想法就是符号人工智能（Symbolic AI），而新创造的东西被称为神经符号人工智能（Neurosymbolic AI）。
其倡导者说，它融合了当今大语言模型的优势、与这种较旧的符号方法的可解释性及可靠性。
神经与符号人工智能
人工智能的历史几乎是一场宗派斗争，在解决创造能够像人一样学习和“思考”的机器这一挑战的过程中，两种对立的方法之间展开了竞争。
该领域主要沿着两条断层线分裂（尽管也存在一些较小的派系和子派系）。
一方面，我们有符号人工智能（Symbolic AI），也被称为“老式人工智能”。
这种方法基于形式逻辑和规则、以及人类可读的概念表示，在 20 世纪 50 年代开始流行，在 20 世纪 60 年代开始盛行，直到 20 世纪 90 年代陷入困境。
符号人工智能帮助创造了国际象棋计算机，最终形成了深蓝（Deepblue），这是 1997 年击败世界冠军加里·卡斯帕罗夫的 IBM 系统，它也是第一批聊天机器人和 20 世纪 80 年代流行的“专家系统”的幕后推手。
符号人工智能是一种自上而下的方法，计算机被赋予一组由人类编写的规则，然后必须学习如何将这些规则应用于特定示例或情况。
另一个方面是：类似大脑的神经网络，可以训练它识别语言和图像中的模式，并使用统计数据来预测事物。
神经网络以自下而上的方式学习：它在训练时会接收大量示例，并从这些示例中的模式中推断出一条似乎最能解释它在数据中辨别出的模式的规则。
但这条规则并不是可以轻易写下来的东西——即使是数学公式。它是整个网络所有节点输出的总和；网络本身本质上就是规则。
神经网络方法在 20 世纪 50 年代显示出早期的希望，在 20 世纪 80 年代短暂复苏，然后经历了漫长的寒冬，直到 2010 年代随着一系列重大突破而再次腾飞。
大约在这个时候，这种方法也被重新命名为“深度学习”，指的是所使用的多层神经网络具有“深度”，但这也是一种巧妙的营销手段，让这种方法看起来比其他机器学习技术更深刻。
近年来，深度学习被推崇备至，尤其是因为它应用于当今生成式人工智能的大型语言模型 (LLM)。
然而，LLM 经常会编造一些东西，因为它们无法真正理解概念或进行逻辑推理。
它们也是“黑匣子”——甚至连它们的开发人员都不能完全理解它们是如何得出结论的。
这使得生成式人工智能对许多用户来说太不可信了，尤其是企业和政府。如果人工智能要发展成某种人类水平或超人类智能——通常被称为“通用人工智能”（AGI - artificial general intelligence）和“超级人工智能”（ASI - artificial superintelligence）的模糊概念——这种可靠性的缺乏可能会成为一大障碍。著名分析公司高德纳（Gartner）的生成式人工智能资源中心负责人彼得·登·哈默（Pieter den Hamer）表示：“LLM 还有进步的空间，但本质上，这种 [LLM] 方法迟早会走到尽头……”进入神经符号人工智能，这是一个越来越受欢迎的想法，正如其名称所暗示的那样，它将神经和符号方法结合在一起，旨在以互补的方式充分利用每种方法。该领域的许多人将其与心理学家丹尼尔·卡尼曼（Daniel Kahneman）的论点进行比较，他认为有两种思维方式：系统 1 思维——快速、本能，用于感知；以及系统 2 思维——即我们在考虑事物和做出决定时进行的更慢、更有意识的思考。像 LLM 这样的神经网络在第一种思维上非常擅长，但系统 2 式思维可能需要符号人工智能。来自高德纳咨询公司的彼得·登·哈默说：“神经符号人工智能，似乎是未来某个时候实现通用人工智能的必要步骤之一，因为我们需要这种比现在更好的推理和更可靠的智能……”脸书（Meta）的首席人工智能科学家扬·勒坎（Yann LeCun）在 2024 年 6 月表示，神经符号方法“与深度学习不相容”；而去年因担心 AI 的负面影响而离开谷歌的杰弗里·辛顿（Geoffrey Hinton）坚持认为，仅靠深度学习“就能做任何事情”。但很多非常可信的人和公司认为神经符号方法有一定的道理。IBM 表示，它将神经符号 AI 视为“实现通用人工智能的途径”，并一直在尝试将其用于为图像查询提供合理的答案。今年早些时候，谷歌展示了其新的 AlphaProof 和 AlphaGeometry 2 系统在国际数学奥林匹克问题上的表现可以达到银牌水平，这证明了神经语言模型与符号推理引擎的协同作用。神经符号 AI 中涉及的神经网络不必是类似 ChatGPT 的 LLM，但一些最有趣的神经符号应用程序使用 LLM 作为组件，以克服其局限性。计算机科学家大卫·费鲁奇（David Ferrucci）说道：“LLM 并非旨在执行正式计算 - 即确定性、高效、精确、一致和可靠地遵循一组规则或数学公式。这就是经典算法编程的用途……”大卫·费鲁奇曾领导 IBM 的赢得《危险边缘！》的 Watson AI 系统团队，目前拥有一家名为 Elemental Cognition 的神经符号 AI 公司。彼得·登·哈默表示，神经符号方法对于受到严格监管的行业和“出于道德原因，人们不想依赖透明度差或不太可靠的 AI”的 AI 应用尤其有前景。威廉·滕斯托尔-佩多（William Tunstall-Pedoe）说道：“神经符号系统可以达到 100% 的精确度，这意味着能够完全信任 。”“[它们给出的] 答案是准确的，并且完全可审计，所有影响答案的因素都对客户可见……”威廉·滕斯托尔-佩多是亚马逊 Alexa 虚拟助手的主要创造者。他现在是神经符号 AI 公司 Unlikely AI 的创始人兼首席执行官，该公司去年筹集了 2000 万美元，但尚未公布其产品。他说：“对于许多应用，例如医疗保健或金融，这可能会对采用该技术产生影响……”神经符号 AI 有很多种形式，但目前部署的神经符号 AI 大多涉及让神经和符号组件协同工作、并在需要时进行交互，而不是紧密集成到一种新模型中——目前这是一种更理论化的愿景。有些人甚至认为，只要你让 LLM 访问代码解释器或搜索引擎等工具，就可以将其视为神经符号 AI。”Epoch AI 研究所所长海梅·塞维利亚（Jaime Sevilla）说：“LLM 本身不会成为有史以来最可靠的计算器……”“但它可以做人类做的事情——比如，只使用计算器。”大卫·费鲁奇的 Elemental Cognition 初创公司创建了一个推理引擎，它使用 LLM 来处理用户的自然语言查询，同时依靠单独的问题解决组件（所谓的动态约束解析算法）来可靠地执行用户想要的操作。这对于优化和物流等任务非常有用；全球航空联盟 Oneworld（其成员包括英国航空公司和美国航空公司）使用 Elemental Cognition 的系统为其新的 AI 旅行代理提供支持。与此同时，连续创业者张伟恩（Wayne Chang，他与其他人共同创立了移动事故报告服务 Crashlytics 等多家企业），刚刚推出了一家名为 Reasoner 的初创公司，该公司还提供神经符号推理引擎，该引擎已经为 张伟恩的 Patented.ai 知识产权律师服务提供支持。Reasoner 引擎将 LLM 与知识图谱（现实世界对象和概念及其之间关系的有组织的表示）结合在一起，这使得它能够读取文档并让用户提出有关它们的详细问题，其结果比纯 LLM 技术所能提供的更准确。张伟恩声称准确率接近 100%，尽管这尚未得到独立验证。此外，Reasoner 提供了非常清晰的回答问题的方式，不断参考源材料并解释其推理过程的每个步骤。张伟恩说：“如果没有运行神经符号引擎，任何企业的 [AI] 应用都不会成功，因为没有客户能够信任它……”著名企业软件提供商 SAP，也一直在以各种方式使用神经符号 AI。正如首席人工智能官菲利普·赫尔齐格向《财富》杂志解释的那样，到目前为止，这些大多是松散耦合的，尽管 SAP 也在开发一种更具未来感、紧密集成的神经符号系统。这家德国企业希望用其 ABAP 编程语言训练 LLM，但传统的微调只能使其准确率达到 80% 左右。因此，SAP 引入了一个带神经符号人工智能的正式解析器，检查每个标记的合法性，如果无效，则拒绝它，并请求 LLM 提供下一个答案。菲利普·赫尔齐格说，这使 LLM 的编码能力的准确率达到 99.8%；SAP 已经在内部使用该模型，并打算在明年年初将其作为产品发布。SAP 公司还发现，LLM 无法获得对其元数据模型的固有理解，因此当用户从存储在 SAP 系统中的信息中询问详细信息时，“GPT 会给出非常漂亮的文本，但 75% 都是编造的……”解决方案是将所有元数据放入一个巨大的知识图谱中，并授予 LLM 访问权限。菲利普·赫尔齐格说：“突然之间，你基本上停止了幻觉，大语言模型出来的结果不再胡说八道了……”菲利普·赫尔齐格表示，SAP 还在基于结构化数据开发自己的基础模型，目的是以结构化的方式预测事物。“大图模型（Large Graph Model）”方法涉及在学习阶段将知识图谱与 LLM 所依赖的转换器架构相结合。当然，坚持使用纯 LLM 方法的公司也在试图克服所选技术的局限性。这部分涉及在 LLM 训练期间向其输入越来越多的数据，尽管最近有迹象表明这种方法的收益可能会递减。OpenAI 的新 o1 模型还尝试在问答（“推理”）阶段进行推理，按照一系列步骤来找出最有可能正确的答案。这似乎涉及重复推理，以及 LLM 生成的多个可能步骤的搜索过程，这使得该过程缓慢且相对昂贵——并且必然比直接推理消耗更多的能量。一些人认为，神经符号方法将更加节能——这对于已经给电网带来压力的 AI 行业来说是一件大事。威廉·滕斯托尔-佩多说：“神经符号 AI 具有巨大的环境效益，因为它将很大一部分处理从在 GPU 上运行的非常大的深度学习模型转移到通常在 CPU 上运行的更高效的符号处理……”“这部分处理的能量效率提高了几个数量级。OpenAI 的 o1 等模型比其前辈进行的处理要多得多，因此 LLM 的 GPU 使用率也呈持续增长趋势，而不是变得更高效。”尖端 LLM 的大量计算要求也使其训练成本过高，只有少数公司能承担得起。据 威廉·滕斯托尔-佩多称，这使得神经符号方法对许多公司，尤其是初创公司来说更为现实。他接着说：“训练大型语言模型需要在模型训练期间在 GPU 时间上花费大量资金。初创公司在使用其模型时可能还需要承担大量成本……”“在开发神经符号模型时，这可以大大减少，因此，对非常大轮融资的需求就减少了，资金可以投入到神经符号研究和新技术中，也可以投入到利用神经符号平台的产品中。”所有这些都不是说神经符号 AI 的前进方向是明确的。首先，像 OpenAI 这样的 LLM 制造者有充分的动力去克服他们所选择方法的局限性，而且他们无法做到这一点尚未得到证实。一些研究人员和公司也在研究转向更可靠 AI 的替代方法。而且——至少目前——神经符号方法也有其自身的缺点。与 ChatGPT 等相比，神经符号 AI 系统相对较慢，并且不太擅长处理模糊语言和隐性知识。它们也更难扩展，因为在符号方面建立和维护规则和关系需要大量劳动力。海梅·塞维利亚说：“你需要证明你的系统可以扩展——这是深度学习和 LLM 的承诺……”“无论你想出哪种神经符号方法，你都需要有一个令人信服的故事，说明如果你让它访问更多的计算资源，它会随着时间的推移变得越来越好。”有人认为，神经符号 AI 需要新硬件才能充分发挥其潜力。佐治亚理工学院的博士生 Zishen Wan 最近与他人合作撰写了一篇关于新架构需求的论文，并即将发布另一篇提出新架构的论文。他表示，神经符号 AI 在当今的 AI 芯片上“通常运行得有点慢”，而这些芯片更适合神经网络。他解释说，这是因为神经符号 AI 使用了更多样化的计算内核，也因为它在重用数据方面的效率低于神经网络——这意味着它需要更多地移动数据。“我们看到了许多有前途的应用，但这足以让 [行业] 创造出全新的神经符号硬件吗？这有点难说。”
2024 年 10 月份，我参与了 SAP 新一代通过 GenAI 增强的 ABAP 开发语言的内部 Beta 测试。不过，正如 SAP 在人工智能伦理政策中所强调的那样，现在人工智能生成的代码必须经过人工审核，程序员还是这些代码的具体负责人，人工智能不能承担代码正确性的责任。
不过，目前 SAP 还没有正式发布这个新的版本，我也没法跟大家分享新一代 ABAP 开发语言的 AI 功能。等明年年初产品发布之后，我将写一篇文章来介绍 GenAI 增强的 ABAP 开发语言有多么的逆天！敬请期待……好了，今天就先聊到这里吧。 如果觉得还行，请随便给一个在看、评论、点赞、或者转发； 如果您坚持全部都给，我也不会介意!
|
参考资料：
[1] https://www.yahoo.com/tech/generative-ai-t-shake-reliability-070000386.html
