【阅读笔记】卓克·科技参考3
前OpenAI的首席科学家伊利亚有个观点：
压缩即智能。
他持有这种观点至少有十多年之久了。
为什么？
压缩过程最重要的要求就是：
原来需要10TB空间才能存储的信息，我们能不能用更小的空间在不丢失原有信息的情况下，用比如1TB来存储呢？
如果我们做到了，那么我们就一定找到了信息中内含的规律或者重复出现的模式，
所以我们可以删除重复的部分，节省空间，
所以压缩过程和寻找规律是一回事，
而寻找规律的能力经常被比作智能。
比如，LLAMA2 13B这个大语言模型，
这里包含了几户全部人类语言素材的信息，它总结出的规律只有25GB大小。
压缩后不仅有利于存储，还有利于预测。
因为我们找到了规律，而我们又都默认现实世界的现象是连续的，
所以在最后一个数据后，如果继续沿着那个规律发展出来，下一个数据就是预测的结果，
而且这个结果往往还和现实拟合得比较好。
所以，压缩找到了规律，又可以从规律做预测，
这就是压缩即智能的道理。
【启发】
信息的本质
信息的本质是克服了多大的不确定性。
我们找到了信息中的规律，也就是可以去理解现实世界中的发展规律，自然就可以去预测未来，也就是会有了智能。
同时，掌握了事务的规律，也就是我们提升了自己的认知。
认知就是我们怎么看待世界，怎么看待人生，怎么看待自我的总和。
认知能力是一种在面对万事万物时洞烛探幽直抵本质，穿越偶然抵达必然的能力。
慢慢来，比较快。
