本文深入探讨了熵的概念，从热力学到信息论，解释了熵作为系统无序度的度量。并通过最大熵原理说明了概率分布均匀的重要性，尤其是在信息处理和分类任务中的应用。
首先了解一下什么是熵(Entropy) ～
“熵”最初是热力学中的一个概念，上世纪40年代，香农首先在信息论中引入了信息熵的概念。信息熵用来表示不确定度的度量，不确定度越大，熵值越大。极限情况，当一个随机变量均匀分布时，熵值最大；完全确定时，熵值为0。
简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。
德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越大。
举个例子：一滴墨水滴在清水中，部成了一杯淡蓝色溶液；分子热运动
从微观看，熵就表现了这个系统所处状态的不确定性程度
最大熵模型
我们在投资时常常讲不要把所有的鸡蛋放在一个篮子里，这样可以降低风险。在信息处理中，这个原理同样适用。在数学上，这个原理称为最大熵原理(the maximum entropy principle)。说白了，概率分布最均匀，预测的风险最小，因此得到的概率分布的熵是最大。
假设我们的分类任务或者预测任务的类别为y，而我们能够依据的上下文信息记为x。我们希望在不同的给定的上下文x条件下，统计模型能够给出判为不同类别y的概率值。
（具体的原谅日后学习整理。。。现在还看不太懂。。。）
附一个我感觉还不错的关于原理的链接：https://blog.csdn.net/ccblogger/article/details/81843304
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
