在我们日常生活中，选择无处不在。比如早晨选择穿什么衣服，去公司乘坐什么交通工具，抑或是浏览公众号文章时读哪篇文章，这些寻常的行为背后，其实都隐藏着深刻的信息论概念。
信息论，作为现代数学和计算机科学的重要分支，主要研究信息的获取、传递和处理，而其中一个核心概念就是“熵”。
熵最早是热力学中的概念，用来描述一个系统的无序程度。而在信息论中，熵则代表了系统中不确定性的量度。换句话说，熵越大，系统中的不确定性就越高；熵越小，不确定性就越低。
当我们做出选择时，实际上是在减少不确定性，也就是在“熵减”。本文将带您从信息论的角度，谈一谈“选择”这一行为的本质。
什么是信息熵？
信息论中的熵是由克劳德·香农在1948年提出的。他定义了熵作为一个随机变量的不确定性度量。在信息论的背景下，信息熵描述了一个事件发生前的不确定性。如果一个事件完全确定（即不可能发生其他情况），那么它的熵就是零；如果一个事件存在多个可能的结果，而且这些结果的发生概率相等，那么它的熵就较大。
香农的熵公式如下：
其中， 表示随机变量 的烠， 表示事件 发生的概率， 表示对数运算。这个公式告诉我们，事件的概率越接近于1（即事件越确定），它所包含的不确定性（熵）就越小；而事件的概率越分散（即越不确定），它的熵就越大。
打个比方，当你掷一枚完全均匀的硬币时，它有两个可能的结果：正面或反面。这两个结果的发生概率都是 0.5，因此这枚硬币的熵可以计算为：
这时掷硬币的结果不确定性较大（其实是两种情况下的最大值），熵值为1比特。而如果这是一枚很奇怪的硬币，不管怎么扔，总是出现正面，那么熵就是0，因为结果是完全确定的。
选择与熵减
在生活和工作中，做出选择的过程其实就是减少不确定性的过程，也就是信息论中的“熵减”。当我们面对多种可能的选择时，系统的不确定性较大，熵值也较高。而当我们做出选择后，结果变得更加明确，系统的不确定性减少，熵值随之下降。
比如，你在一个餐厅的菜单上看到10种不同的菜，每种菜都有相同的概率被你选择。根据信息论的熵公式，这一情景的熵是：
而当你最终选择了一道菜，比如说选择了“锅包肉”，此时熵下降到了0，因为你的选择已经明确，不再存在不确定性。这就是选择导致熵减的一个简单例子。
去餐馆时当我做不出选择的时候，我一般会问店员：招牌菜有什么？店员会列出一个或几个，这时候我选择的空间就变小了，信息熵就会随之减少。这种情况下，店员提供的建议实际上起到了信息过滤的作用，将原本10个选择的高熵状态降低到了只有几个选项的不确定性较低的状态。
选择与信息增益
除了熵减，信息论中还有一个重要的概念叫“信息增益”（Information Gain）。信息增益描述的是通过观察或获取信息，系统中的不确定性减少的量度。信息增益本质上就是熵的减少量。
常用来解释熵概念的是猜数游戏，比如对方选择了一个从1到100之间的数，而你需要通过一系列问题来猜这个数。如果你每次只能问对方“这个数是否大于某个值”这样的问题，那么你最优的策略就是每次把可能的范围对半分。例如，第一次可以问“这个数是否大于50”，这会把可能的范围缩小一半——要么在1到50之间，要么在51到100之间。这个过程通过信息增益减少了系统的不确定性。
信息增益也被用在决策树和机器学习算法中。
选择与自由意志
选择是人类行为的核心之一，而信息论为我们提供了一个新的视角来理解选择：每一次选择其实都是在对系统进行熵减，减少不确定性。
我们常常把自由意志视作一种自主选择的能力，而在信息论的框架下，自由意志可以理解为对高熵状态下的自主决定。通过选择，我们从混沌和不确定性中抽离出明确的路径，降低系统的熵。
当然，并不是所有的选择都会带来真正的熵减。在某些情况下，我们做出的选择可能只是表面上的多样性，实际并未带来不确定性的减少。这种表面上的选择，虽然看似提供了多样性，实际上可能没有真正增加信息的价值。
我们可以通过信息论的概念来更好地理解这种现象。例如，在面对形式多样但实质相同的选项时，我们的选择并没有带来显著的熵减，因为每个选项之间的差异性不足以减少系统的不确定性。这个过程类似于“伪选择”，它仅仅是一些表面上的差别，无法为系统带来真正的信息增益。
选择与优化
在很多情况下，选择不仅仅是一个简单的熵减过程，它往往涉及优化。例如，当我们在众多选项中寻找最佳解决方案时，我们希望不仅仅是减少不确定性，还要找到使得结果最优的选择。在这种情况下，选择不仅要考虑减少熵，还要引入其他因素，如效用、成本等，来平衡不确定性和资源消耗。
信息论为此提供了一个称为“压缩”的概念，即通过尽可能少的信息传递尽可能多的有效信息。压缩的本质是通过最优选择减少系统的冗余信息。例如，霍夫曼编码就是一种基于信息熵的压缩算法，通过对概率分布进行最优选择，减少数据的冗余部分。
总而言之，从信息论的角度看，每一次选择，都是一次不确定性的消解，也是我们在复杂的世界中寻找确定性的必经之路。在这个信息爆炸的时代，或许我们真正需要学习的，不是减少选择，而是如何通过选择减少熵、提升信息的价值。（作者：王海华）
