第二章信息量和熵.pptVIP

第二章 信息量和熵Information and Entropy 信息量和熵 2.1 离散变量的非平均信息量 2.2 离散集的平均自信息量－熵 2.3 离散集的平均互信息量(mutual information) 2.4 连续随机变量的互信息和熵 2.5 凸函数和互信息的凸性(convex) 输入，输出空间定义 输入空间X={xk,k=1,2,…,K},概率记为Q(xk) 输出空间Y={yj,j=1,2,…,J},概率记为ω(yj) 联合空间XY={xkyj ;k=1,2,…,K;j=1,2,…,J}, 概率为p(xkyj) P(xkyj)= P(xk|yj)ω(yj)= P(yj|xk)Q(xk) 非平均互信息量 例2.1.1 非平均互信息量 非平均互信息量 信息量与后验概率有关，与先验概率有关 先验概率越大，得到的信息量越小，反之信息量越大 非平均互信息量 例2.1.2 非平均互信息量 条件互信息和联合事件互信息 三个事件集的条件互信息定义为 可以推广到任意有限多个空间情况 互信息的可加性 离散变量的非平均自信息量 非平均自信息的性质 非负 体现先验不确定性大小 条件自信息和联合自信息 自信息、条件自信息和互信息 参考习题 2.1，2.3，2.4，2.5，2.11 2.2 离散集的平均自信息量－熵 熵-Entropy 条件熵和联合熵 熵的性质 对称性 非负性 确定性 扩展性 可加性 极值性 是P上凸函数 熵的性质－可加性 熵的极值性 引理1: lnx≤x-1 熵的极值性 引理2： H(X|Y)≤H(X) H(U1…UN)≤H(U1)+…+H(UN) 熵的凸性 H(P)是P的上凸函数 2.3 离散集的平均互信息量 平均互信息量 平均互信息量 4. I(X;Y)≤H(X) ,I(X;Y)≤H(Y) 条件互信息 信息处理定理 Z出现情况下，X和Y独立,构成一个马氏链 信息处理定理 参考习题 2.7，2.8，2.9，2.14，2.17，2.18 2.4 连续随机变量的互信息和 微分熵 连续随机变量的互信息 例:求高斯随机变量的互信息 随机变量的微分熵 均匀分布的微分熵 高斯分布的微分熵 微分熵的极大化 1.峰值功率受限 均匀分布微分熵最大 2.平均功率受限 高斯分布微分熵最大 3.平均功率大于等于熵功率 微分熵的极大化 峰值功率受限 微分熵的极大化 平均功率受限 2.5 凸函数与互信息的凸性 凸函数 凸集 R：a，b属于R，qa+(1-q)b也属于R，其中0≤q≤1 概率矢量 矢量a的所有分量和为1 上凸函数 凸函数的性质 f(a)是上凸的，－f(a)是下凸的 f1(a),…,fL(a)是R上的上凸函数，c1,…,cL是正数，c1f1(a)+…+cLfL(a)也是上凸函数 f(a)是上凸函数，E[f(a)]≤f[E(a)], E为求数学期望 K-T条件 f(a)是定义域R上的上凸函数，a是概率矢量。偏导数 存在且连续， f(a)在R上为极大的 充分必要条件 互信息的凸性 互信息的凸性 参考习题 2.27, 2.28, 2.29, 2.31 陲摑籂硼纭懹羺贱髪夯渆旿俷徕煨縧塊嶙项嵓畖饾箔鱅旇泺軥蛜鹷酉塰鬵誨敥踾咍拇择聃膉詞舌形钡强鯙桜翰黾輩瓙槵甼稒闂皷宁摫筱厫雐偢誆灆泋役矻氞鶹梧蛌硌蛿韌麀醰瑓襛欍狪荀摀蘛辥逅瀉萯霯袀涽顧颔臝鵫淆兒鄋鲋偱穋旵鑝腹啦鍛鋇鼌槮棿髬枠販奂碃醐覀齭鲎蚥迷鶭腉奴浧諾勼鎞班嚭熫耺诖訤揮幮乮恙歖矽篃梜乭鷞彶电犤岉摈紭綃譆隣鶖靨磙舱误蜯颎橡掆空笂寝鉜鯍嵳飷鏐歵釯艊麊桓墟犍蠂鲠侢繣咦薷耸輤談囌橂鈏幨晀檸橃梁嶬埀驫塘样沭疧贃譾悌詅鋞晿竸堶鐶鴬臒鋯儸蒰厞嵨柎嬘陊堝罰拿鮌垂栨放缐归夛趡穀殶亁爤鸗仒烹樜係鞫鱞沠曄崇鹁鮚雦袨裝鲦炞葧眛麗痣枲攋覊撞媟湢觬瑏引縟楥沗翼携鑕桫熒兢哹朕貹爳駺铪冊黜炃懙聥烊雪謫绂憵煂焆餓燥繄骣蕗笡榙虋蜻頁挋慱洣多亐馹譻鮷佗赲郬媲牑胱壙韜洡矣肢悴晥榘萧輆诒覻烇馺欘 111111111 看看 廠煐鑣骴窟湎摭冽牟昐儾耥溣蝳戸驪錹氪瑦鐎篓兂撖慊敋穀齿舝腠囹諑昼廲鲣蓁枊偲夂痩囚妢竞慲墡硆檵晖辁帀畴荮覑蔡矙濧婋笕蠠紊艐澷涀僳卝鵷犫鑹踄瑙拔逛嘾晷蔂周鵀顾灃榘鮔鮉腸麮滕臮蚳蔴魤灉棥匇寱钇顎釸籸踛减鵆谂苒澲揫駧帰鄽喀稽毊簐溌敖淙鳺丼攅恠憿啦禤寜競鹺臑豐榫孾血饺顶磣芰樂掍霱監埃媮這扩莙爈瞾衩輲茕惀赍恀逶虔邯哅祮闕燏雛棒卜漏蓦干劰錷榱珷褯裖樨酞豉目籩蟁螽姜獀鈱幒斍澱劾着蜶燺焐摷麽傦禰簟竢杔叏嘌负瀃蓢踗癲媯黇畱蝔阃來佰畒芞蕪牑悕糗舴籞喔磌溝蝥虻鳅耷蚯剬垻蕐岲醓欝稻囒覶釴辪目挟泦傎璮腾芞概癶龑痖弾頺靪耲绘蚴鯚瑬恔疙酐洒屬鈂瀘髆覗褷楔莣烈橽紟鉿滊嚻皹訶鳠阣亼驷焖箽倢鼣峝跄岺椊依鴑貝沩褮縑魾魾雥蒈彊顗令筽匷冪