信息论

香农公式（Shannon's formula）是由信息论的创始人之一克劳德·香农（Claude Shannon）于1948年提出的一条公式，用于计算信息的信息量。这个公式通常被表示为：

$H=−∑i=1nP(xi)log⁡2P(xi)H = -\sum_{i=1}^{n} P(x_i) \log_{2}P(x_i)H=−∑i=1nP(xi)log2P(xi)$

其中，H代表信息的熵（entropy），P(xi)P(x_i)P(xi)代表了一个特定事件xix_ixi发生的概率。这个公式告诉我们，在一个信息系统中，信息的平均量是由每个事件的概率和对数的乘积的总和来衡量的。

PS 为什么用对数$log_{2}8==3$ ,3位可以表示8种情况对数相对应的指数就是排列数