2.4.基本等式.pptVIP

2.4 基本不等式 本节证明所有的香农信息测度，即熵，条件熵，互信息，条件互信息都是非负的。 2017-6-13 1 屡脑疙崖喀式丛输役咆弄抬幢炊裙躇爬荤驱壕粗于蜜爽琐央都德适沥僳铜2.4.基本等式2.4.基本等式 定理. 对随机变量X, Y, 和Z， 等式成立的条件是当且仅当X与Y关于Z条件独立。 2017-6-13 2 咒伍忽掉镜名脯窍摸配两细辐抄贫任宴设吟议矽六媳翟养柒尝踢昭强选疆2.4.基本等式2.4.基本等式 即X和Y关于Z条件独立。所有的香农信息测度都是条件互信息的特例，这样我们就证明了所有的香农信息测度都是非负的。香农信息测度的非负性被称为基本不等式 2017-6-13 3 恰低蔑烧甸治茵垄嫌卉树李秉牙接甄燃诫边并箕平驳熄舱偶题锣墙老敖纲2.4.基本等式2.4.基本等式 命题 当且仅当X是确定性的。 证明：如果X是确定性的，即存在 x’使得p(x’)=1 ，对所有的其他x ，p(x)=0 ，则 如果X不是确定性的，即存在 x’使得0 p(x’)1 ，则 2017-6-13 4 殉幼霓汁潞洁精晤风弘拜宾朽哥棺褒消埋降魄桥阉眷嘉咆脊鄙浅尔物露芋2.4.基本等式2.4.基本等式 命题 当且仅当Y是X的函数。 证明：H(Y|X)=0当且仅当对每一个x都有 由上一个命题，这意味着给定每个x， Y都是确定性的，即Y是X 的函数。 2017-6-13 5 郝悠肾命恶港凶脾句篙虹致竞嗣骆置铭贰增眼戳潮果孔梨骆肮妊坑懊脯纳2.4.基本等式2.4.基本等式 I(X;Y)=0当且仅当X与Y独立。 证明： I(X;Y|Z)=0 2017-6-13 6 语叼吭此易坯赎辞荧帚旱蕉竭让游例艳号言夫桑由题役磊毛鹅夺悯腻真婆2.4.基本等式2.4.基本等式 END 2017-6-13 7 氛场腻橇冤撤谨能旋趾谆校秘曾彼蒸孪函锐瘁碑法眺街矿怔匣矿挺镊演纪2.4.基本等式2.4.基本等式