吉布斯不等式-吉布斯不等式

《吉布斯不等式》，此词条收录于04/11，仅供参考

      吉布斯不等式是由约西亚·吉布斯在19世纪提出的重要不等式。在信息论和概率论中，它是法诺不等式和讯号源编码定理证明的基础。吉布斯不等式表明，对于任意两个概率分布P和Q，若它们的概率值均在(0,1]区间内且总和为1，则它们的熵满足特定的不等式关系。