最大熵原理的应用实例

Python021

最大熵原理的应用实例,第1张

例3.1为一随机变量, ,利用最大熵原理来估计 。

解:系统的熵值

约束条件为

构造Lagrange函数

求解6元方程组(将作为变量)

没有约束条件时的最大熵分布为

此时的熵为。由于约束条件提供了更多的信息,减小了系统的不确定性。

例3.2

解:由定理2.1,作泛函其欧拉方程为

解得:

将这一结果回代入两个约束条件当中,可解得使目标泛函达到极值的概率密度

这是正态分布的概率密度。

得泛函 取极值的概率密度 应满足

对应此式的辅助泛函

可解得

可回代上式入约束条件解出。

连续熵的极大问题比较复杂,约束条件多种多样整形约束、微分约束、等周约束等等。可能有些问题还会附加一些边界条件,上面的例子只是一些基本算例。对于复杂问题,在误差允许范围内进行数值计算也是解决问题的一个途径。

离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。

最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。随机量的概率分布是很难测定的，一般只能测得其各种均值（如数学期望、方差等）或已知某些限定条件下的值（如峰值、取值个数等），符合测得这些值的分布可有多种、以至无穷多种，通常，其中有一种分布的熵最大。

扩展资料

最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。

因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。

从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法作出。

据网上搜索知：最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。

随机量的概率分布是很难测定的，一般只能测得其各种均值（如数学期望、方差等）或已知某些限定条件下的值（如峰值、取值个数等），符合测得这些值的分布可有多种、以至无穷多种，通常，其中有一种分布的熵最大。选用这种具有最大熵的分布作为该随机变量的分布，是一种有效的处理方法和准则。

这种方法虽有一定的主观性，但可以认为是最符合客观情况的一种选择。在投资时常常讲不要把所有的鸡蛋放在一个篮子里，这样可以降低风险。在信息处理中，这个原理同样适用。在数学上，这个原理称为最大熵原理。