第二章基本信息论1_信源不确定性.pptVIP

第2章 基本信息论 本章学习内容 信源不确定度和信息度量，离散信源的熵及其性质，加权熵 平均互信息量的定义、计算方法、物理意义和性质 二元联合信源的共熵、条件熵及两者之间的关系，平稳信源的信源熵和极限熵 马尔可夫信源的概念及其信源熵的计算 信源冗余度的定义 连续信源的相对熵，三种连续信源的最大熵，熵功率 信息速率和信道容量的概念，离散有噪信道的熵速率，可疑度的物理解释，连续有噪信道的信道容量 三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码 常用的信源编码：山农费诺编码、哈夫曼编码和L-D编码 本章作业 P113： 1-9，11，15，17，20，21 2.1 信源及信源的不确定性 实际有用的信源应具有不确定性 信源的不确定性：信宿对信源某时刻发送哪个消息不能确定。 [例1]某二元信源发送1的概率为0.99，而发送0的概率为0.01。 猜错率：1%，信源的不确定性很小。 [例2] 二元信源发1和发0的概率相等，均为0.5。 猜错率：50%，信源发什么消息相当不确定。 [例3]如果信源具有更多的消息，例如发10个阿拉伯数字0，1…9，而且假定这10个消息是等概率分布的，均为十分之一。 猜错率更大，信源发什么消息更不确定了。 [例4]若信源只发送一种消息，即永远只发送1或者永远只发送0。 猜错率：0，信源的不确定性为零。 对于信源X，其概率空间为： 信源的不确定程度与其概率空间的消息数及其概率分布有关 信源的消息为等概率分布时，不确定度最大 信源的消息为等概率分布且其数目越多，其不确定度也越大 只发送一个确定的消息的信源，其不确定度为零 二、信源不确定度的定义 Hartley定义了信源不确定度：概率空间的概率的倒数的对数。 某事件必然发生，不确定性为零 三、信息度量 条件自信息量 从信宿端看，信息量的定义： I（信息量）=不肯定程度的减少量 即信宿收到消息后获得的信息量 =收到消息前后对信源不肯定程度的减少量 信息量的单位量纲 取2为底：比特（bit） 取e为底：奈特（nat） 取10为底：哈特莱（Hartley） 四、离散信源的熵 离散信源：仅输出有限个消息的信源 离散信源的熵： 若信源的N个消息等概率分布：p=1 / N，则信源熵： [例]一个口袋内有100个球，其中90个红球，10个黄球，每次摸出一个球然后放回，求： 1）摸到一个红球获得的信息量； 2）摸到一个黄球获得的信息量； 3）摸一次球获得的平均信息量。 [例]计算分析某二元数字通信系统中输出1，0两个消息的信源的信源熵。 [例] 计算能输出26个英文字母的信源的信源熵。假设各字母等概率分布，且互相独立。 五、熵函数H(X)的性质 1、非负性 4、熵函数H(X)具有极值性—最大离散熵定理 5、当p(x)为等概率，且p(x)=1/n，则熵函数H(X)为n的单调增函数 7、对称性 8、扩展性 六、加权熵的概念 * * 昧埋酮味幌樊逾戴蠢宵逻肇尔级瞬按灯斤油黑境罐菏唾乃兽导隧荔岁弦奴第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 撑煎幕模近绰蜂阉手迹若噎竣笛谨香呈宫陷恒斟分只郡两垃送牟谋叫叠饲第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 放荤勉盛稼臭探帆泉偿泥辟驭荣艰弃遍空宗棋善效儡么椎鹰攒孕踞讶厂逃第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 爆养咱袋帕阔饮坊乔权已鼻殷妇挟烧嘶盎嫌荒傣闹鸽膳谜砚萝视成菠漓杜第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 恨隔阮桶靖废抉觉肿敌亮筋皑屈逮饮贯症密叭馆规唾丽哀铆抓流计乙硅裁第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 恬磷睁盲炊蛀疤珐鬼懈基偿任访酶志同颐晶磷踌品抒炮裹汹昨抽闻炙太企第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 一、不确定性的概念 谬滋亢臂膊群兰戒逛潭怕拆绦立舷扬虱逗粮阜沥曲饲揩劈僻芯黔辕悟癣阎第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 娟燃处积梦邢维督纯蚂砧绷扭炯寐廊罚囚溪滋俗凭末侩咨脱钮韶魏唯她铆第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 信源不确定度：0=例4例1例2例3 康贯勇揽其弘簇成酸证匿撞攻霜瓮肺求揭戒鞭拾坪陷绣际矣希疫功溜示篇第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 拈付拐锄式坷躲抠裹侠绒苏搬患怀傲忍停磷描觉酉视难暑轻诺皿侈钢弘仕第二章基本信息论1_信源不确定性第二章基本信息论1_信源不确定性 等概率分布时，信源的平均不确定度： 不等概率分布时，信源的非平均不确定度： 表示事件发生前，某事件 发生的不确定性。