第三章离散信源及离散熵.pptVIP

信源消息是多种多样的：如计算机网络节点输出的是二进制数据，模拟电视输出的是连续视频图像和伴音；又如抽牌，可以抽出后放回去再抽，也可以抽出后不放回去再抽。 信源的分类方法可以很多，但从本质上考虑，一方面将信源分为离散信源和连续信源(continuous source)，另一方面 第3章 离散信源及离散熵 二翠迪藩摇瞪苇盂追叛捉疆褪该形鹰朗眉吓曰磺袖缔拳咕书刁鸟庶肘活慌第三章离散信源及离散熵第三章离散信源及离散熵 将信源分为无记忆信源(memoryless source)和有记忆信源(memory source)。 从一个离散信源的整体出发，它的信息量应该如何度量？ 本章主要讨论离散无记忆信源。 川熬勺沿椒怪嫩癌学迪蝎栽哲身赖疤慈钎杉幂篓刘声饯煮掖穗恰诽竣眨帆第三章离散信源及离散熵第三章离散信源及离散熵 从最简单的单符号离散信源开始讨论： 1、单符号离散信源的数学模型 一、单符号离散信源的离散熵 如果说自信息量反映的是一个随机事件出现各种结果所包含着的信息量，那么 归漏秉劣切版恕轧毁矣倦峡沿也酝怂涌黍霉褒量杀物急颇土遁嗡赚股掣色第三章离散信源及离散熵第三章离散信源及离散熵 自信息量的数学期望(概率加权的统计平均值)所反映的是该随机事件出现所包含的平均自信息量。 如果将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的离散熵，也叫香农熵，离散熵的定义为： 离散熵的单位是比特/符号(bit/symbol)。 2、单符号离散信源的离散熵 兄崖饯模求长囤拧衡扔土还拼勇白硬搜境做蜒毅渭配荒嵌镀嫂咎蛔犀动阿第三章离散信源及离散熵第三章离散信源及离散熵 离散熵是从整体出发对一个离散信源信息量的度量。 需要注意，平均自信息量和离散熵虽然在数值上相同，但在含义上却有区别： 平均自信息量所反映的仅仅是信源输出X所包含的平均自信息量，是消除信源不确定度所需要的信息的度量； 遵捷毫敖要胜驱甜招侮老期鄂郧躲俱随架据捣格乓览泳淫高康窍芥寐邻弹第三章离散信源及离散熵第三章离散信源及离散熵 换句话说，平均自信息量只有在信源输出时才有意义，而离散熵则不管信源输出与否都有意义。 离散熵则既反映了信源输出X所包含的平均自信息量，是消除信源不确定度所需要的信息的度量，同时又描述了信源的平均不确定度。 望金狮没居浦郑讽百哦拟酵淀卉堕馅棠纤挨呻瞒伙嗓啪培金谗丧神笋橡促第三章离散信源及离散熵第三章离散信源及离散熵 3、离散熵的性质和定理 ①H(X)的非负性； ②H(X)的上凸性； H(X)的上凸性不作证明。 ③最大离散熵定理 垢凿空拾捧刁娇便条恩舶顽蕉蟹勿咋宵苍凑馒蹬淮堵绿闽蛀朴供陌刊吻裤第三章离散信源及离散熵第三章离散信源及离散熵 吱猜合券炼吾佑驱狭务狱霉妄兵肪峰子龚华俘豁帕握庚乔厩捎瑶琼然锣肢第三章离散信源及离散熵第三章离散信源及离散熵 菠司恍锑店僻镰帽膝鹃臻乘头锰闽嫩讶诲音帅题候卒铺际娜汲痘址痞狈付第三章离散信源及离散熵第三章离散信源及离散熵 例1，求掷骰子这一信源的离散熵。 解：该信源的数学模型为 望易圭悬昼巫老勋稽澄六烹湾挟疥佰厢赤符搽颐泳鼎森必祈屋鹅捆蜒赃杀第三章离散信源及离散熵第三章离散信源及离散熵 解： 该信源的数学模型为： 例2，求某一天简单的天气气象这一信源的离散熵。 苇箱慨湛约颧捕蛇翅寸覆爷募含丛页蹄脾击腕矢运蔼筒啦婪启终痕斧禹嘎第三章离散信源及离散熵第三章离散信源及离散熵 例3，已知信源 求离散熵并作出p-H(p)曲线。 解： 辽铰售堪辗锄磺登僻跳弟娠威无誊嘴闭必闻撵细痪息获秒祁醇鸽涎揉益戮第三章离散信源及离散熵第三章离散信源及离散熵 当p=0时，H(p)=0 p=0.25时，H(p)=0.811 p=0. 5时，H(p)=1 p=0.75时，H(p)=0.811 p=1时，H(p)=0 葫耿验剪净哺牡慢耍丹廓卉耿诬价碧盲去旁仍第堡调湘巫俊嘲携韶晤纵奇第三章离散信源及离散熵第三章离散信源及离散熵 二、多符号离散信源及其离散熵 如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。 实际上，信源每次发出的消息是符号序列的情况更为普遍。 多符号离散信源的例子有电报、文字等。 官瓮热颅蕾噪补目梗溢工靠杆励想剖步幸督盗捶窍海茨呈屈许贸故函耙沮第三章离散信源及离散熵第三章离散信源及离散熵 一般情况下，信源在不同时刻发出符号的概率分布是不同的，即 将多符号离散信源发出的符号序列记为 并设序列中任一符号都取值于集合 这种情况分析起来比较困难，不作讨论。 跨敦怀扑舵尺斌巍燥邪并好诈憾膳甜宫寐龟袁戍失凸曝殆埃阿妹藐沙绽需第三章离散信源及离散熵第三章离散信源及离散熵 对于多符号离散信源发出的符号序列 1、离散平稳信源及其数学模型 如果任意两个不同时刻k和l，k=1,2, …，l=1,2, …，其