最大熵课件.pptVIP

强大的Venn图：帮助记忆 */74 最大熵模型的原则 承认已知事物（知识） 对未知事物不做任何假设，没有任何偏见 */74 两点分布的最大熵 H(X) = -plnp - (1-p)ln(1-p) 注：经典熵的定义，底数是2，单位是bit 本例中，为分析方便使用底数e 若底数是e，单位是nat(奈特) 如何求最值？ */74 X满足均匀分布时，熵最大 当p=0.5时，取H(X)取最大值； 思考：若“多点”分布呢？ X是随机变量，可以取从1到K的K个数。问：X满足什么分布时，X的熵最大？ p(X)=1/K：均匀分布 */74 例如 已知： “学习”可能是动词，也可能是名词。 “学习”可以被标为主语、谓语、宾语、定语…… 令x1表示“学习”被标为名词， x2表示“学习”被标为动词。 令y1表示“学习”被标为主语， y2表示被标为谓语， y3表示宾语， y4表示定语。得到下面的表示： 根据无偏原则 */74 引入新知识 若已知：“学习”被标为定语的可能性很小，只有0.05 仍然坚持无偏原则： */74 再次引入新知识 当“学习”被标作动词的时候，它被标作谓语的概率为0.95 除此之外，仍然坚持无偏见原则，尽量使概率分布平均。 问：怎么样能尽量无偏见的分布？ */74 最大熵模型Maximum Entropy 概率平均分布 等价于 熵最大 问题转化为：计算X和Y的分布，使H