点击蓝字关注
本文你将收获如下：
1、大模型核心的能力，理解+推理；
2、为什么能获得这样的能力，生成符合常识的文本？“思维链”、“涌现”到底是什么？
3、附录：197家行业大模型厂商集合（已备案）
重新再理解下大模型的核心能力
以GPT4为例大语言模型具备超强的理解及推理能力，举几个例子：
下面这张图是网上公开的一张测试图，主要描述的是用鸡块拼成的世界地图，
配了一段文字：有时，我只是从太空看地球的照片，并惊讶于这一切是如此的美丽。
给GPT-4提问：你能解释一下作者想表达什么吗？
GPT-4说：这是一个笑话，它结合了两个不相关的东西：从太空看地球的图片和鸡块。
文字表明，下面的图片是从太空看地球的美丽图片。
然而，该图片实际上是鸡块的排列，只是有点像世界地图。
这个备忘录的幽默来自文本和图片的意外并置，文字设置了一个对地球雄伟形象的期望，但图像实际上是一些平凡而愚蠢的东西。
能力说明：这代表GPT-4已经有了多模态的理解能力，而且具备丰富的情感。
来源：公开资料整理
注：通过图片来测试GPT对图片的理解通用理解能力
另一个例子，这是给GPT-4出的一个典型谜题：一个猎人向南走了一英里，向东走了一英里，向北走了一英里，此时恰好回到了起点。
他看到了一只熊，于是开枪打了它。
这只熊是什么颜色的？
正确答案是：白色
下面这张是用集成GPT-4的NewBing回答的结果：可以看到它正确的回答出了问题。
来源：通过NewBing问答得出
而通过ChatGPT则无法直接获取到正确的答案，具体的答复如下：
来源：通过ChatGPT 3.5问答得出
能力说明：以上的例子说明GPT-4已经具备了超强的推理能力。
上面的两个案例虽然简单，但是这代表了人工智能不再是智障，证明了AI具备知识沉淀和推理能力，这也是AI首次真正意义上跨过常识这道门槛。
拥有常识要求AI不仅能够看懂眼前画面里的各种东西，还得知道社会规范、物理化学地理等等知识，
并且把新看到和已知的一切融会贯通，这是之前十几年AI产业都没有解决的问题，而且已经跨过通用人工智能门槛，具备通用人工智能的标志。
02.
为什么能获得这样的能力，生成符合常识的文本？
有两个词你可能听到的比较多，一个叫“思维链”一个叫“涌现”，先来说说“思维链”的产生。
为了解释什么叫思维链，
就必须来说说ChatGPT里面的最后一个单词（字母）“T”，它指的是一种叫“Transformer”的人工智能架构，
这个“Transformer”和电影“变形金刚”（Transformer）是同一个词。
“Transformer”架构诞生的初衷，是为了进行语言处理和生成。
用最浅显的话来说，这个架构能够让人工智能在处理比较大段的信息，比如说长句子的时候，能够同时捕捉到几个彼此距离较远的关键词，然后计算、识别它们之间的逻辑关系，
同时给它们按照属性和重要程度打上标记，加以记忆。
再通俗的说，AI在做“文字接龙”或者是“完形填空”的游戏，根据上下文的内容来猜测一个空缺段落中的内容。
GPT总是试图对当前获取的文本进行合理的延续，这里的合理是指根据观察数十亿个网页和数字化书籍中的人类书写，人们可能期望下一个词是什么。
假设我们已经得到了文本片段“人工智能突出的优势在于”，我们可以想象ChatGPT已经扫描了数十亿页的人类书写的文本，并找出这个文本片段的所有实例，然后观察接下来出现了哪些词汇以及它们的频率。
也就是GPT以一种类似的方式进行操作，虽然它不直接关注字面文本，而是寻找在某种程度上具有“意义匹配”的内容。
最终结果是，它生成了一个可能出现在文本后面的词汇排序列表，并给出了每个词汇的“概率”。
“涌现”是指由大量简单个体或组成部分通过相互作用和自组织过程，在整体上展现出全新的、更高层次的现象、行为或属性。
比如蚁群行为、市场经济中的价格形成、大脑意识的形成等
大模型也是类似的，当你的模型足够大，用于训练的语料足够多，训练的时间足够长，就会发生一些神奇的现象。
2021年，OpenAI的几个研究者在训练神经网络过程中有一个意外发现 。
我给你打个比方，比如学习骑自行车，初学者在尝试骑自行车时，往往会显得非常笨拙，需要辅助轮或者大人扶着才能勉强前行。
在最初的阶段，他们甚至可能无法控制平衡，频繁地摔倒。
但是，随着不断地练习，他们开始能够熟练地模仿并掌握骑自行车的基本技巧，如上车、平衡和蹬踏。
此时，虽然他们已经可以在平坦的路面上平稳骑行，但面对复杂的路况（如上坡、下坡、转弯等）时，可能仍然会感到力不从心。
继续坚持练习，直到某一天，他们突然发现自己不再需要任何辅助就能轻松自如地骑自行车了。
无论是面对上坡还是下坡，或是进行急转弯，他们都能游刃有余地应对。这一刻，骑自行车对于他们来说，已经不仅仅是一种模仿，而是成为了一种本能。
这个过程就是下面这张图——
来源：公开论文
红色曲线代表训练，绿色曲线代表生成性发挥。训练到一千步乃至一万步，模型对训练题的表现已经非常好了，但是对生成性题目几乎没有能力。
练到10万步，模型做训练题的成绩已经很完美，对生成题也开始有表现了。
练到100万步，模型对生成性题目居然达到了接近100%的精确度。
2020年1月，OpenAI发表了一篇论文，以下图为例，探讨了模型性能和规模之间的关系。
研究表明，这二者之间服从Power Law，也就是说，随着模型规模呈指数级增长，模型性能可以线性增长。
来源：OpenAI公开论文
2022年8月，Google发表了一篇论文，重新探讨了模型效果与规模之间的关系。
研究表明，在模型规模达到一定阈值时，模型在某些问题上的性能表现会呈现出快速增长的态势。
作者将这种现象称为Emergent Abilities，即涌现能力。
来源：Google公开论文
注：不同颜色代表了不同的模型类型
当下的大模型大家都拿它和人脑做比较，但人脑才是最智能神奇的东西，
它只有两个拳头的体积，一盒牛奶的重量，却包含了一千亿个神经元，和整个银河系里恒星的数量差不多。
说我们每个人的大脑里都有一个小宇宙，一点也不夸张。在我们已知的事物里，大脑很可能是结构最复杂的，可是它的能耗却比一只灯泡还要低。
但对比现在的大模型来说，它的能耗却要高的多，之前我们在这篇文章中拐点！为什么 AGI 应用还没有大爆发？中，
探讨过一个制约AI规模化发展的要素，其中有一项就是算力的紧缺和巨大的能耗。
据估计，目前人工智能的能源消耗占全球能源消耗的3％左右，到2025 年，人工智能将消耗全球15％的电能。
不过我始终相信，随着AGI的发展，或许这个问题就如同当年面对能源枯竭问题一样，
人类曾长期依赖化石燃料（如石油、煤炭等）作为主要能源来源，随着技术发展到后面找到了多种替代能源（如太阳能、风能、核能等），从而缓解了能源枯竭的危机。
最后我问了问GPT，它是这样说的：
勿以AI今日之限，度量未来无限可能之天。
以上
附录：197家行业大模型厂商集合（已备案）（如需完整版，请在后台私信回复）
有启发就“一键三连”，人工码字，原创不易，谢谢你的转发。
个人微信：扫一扫，一起加入方案经理圈。
加我后台回复“GPT”领取售前Prompt工具包；
别急着走，有启发就“一键三连”，交个朋友，由于改版，劳烦大家动动大拇指点击一下“看一看”、“精选”，最好“⭐ 星标”一下公号，这样推文发出，会第一时间出现在你的订阅栏，辛苦大家了。
更多干货推荐阅读：
行业洞察：
科技前沿：
年度盘点|2023，无法撤回，史诗级的科技大事件？（技术篇）
年终盘点|再见2022，点亮黑暗的不是阳光是什么？（技术篇）
7 万亿美元的芯片融资计划？Open AI CEO 山姆*奥特曼的战略和野心
获取高质量答案，怎么向ChatGPT提出一个好问题？（实操版）
是“iPhone时刻”还是“互联网时刻”？都不是，我想聊聊那些“卡脖子的时刻”|附最新GPT插件列表
