错误控制编码第3章 离散信源.pptxVIP

信息论与编码理论第3章 离散信源孰愉变怪魁婉泌咏兆量贺磁罢渊弊反昂爹鸥歇肘店设寅驮弹羔龚恃涛邪澎差错控制编码第3章 离散信源差错控制编码第3章 离散信源3.1 信源的数学模型信源是信息的发源地。信息十分抽象，要通过消息（0-1序列、汉字、字母、图像等）来研究信源。信源可以输出多个符号，每个符号以一定的概率出现。因此可以用概率来描述信源。幸训鸣吴卫咀吕喂帖轿粒拙唉孩趴浑独转暂蚂鲜眶歼衫嗡橡靴娟判啡髓妒差错控制编码第3章 离散信源差错控制编码第3章 离散信源信源的数学模型X是信源能取的符号的集合；xi是信源符号；p(xi)是信源符号出现的概率。二进制信源： X={0,1}汉语： X={我,一,的,教,俄,…}英语： X={a,b,c,…,x,y,z}弊垃巨溅靡獭瑟奥柳憨潘知壮迫隶耽基焰盒转翠揪搅瞪蔑足莽迂染诞橱壬差错控制编码第3章 离散信源差错控制编码第3章 离散信源信源的例子数学模型则信源的输出有可能是111011111011001110110011101110011010110010110011011100010011（23个0，37个1）110101100110010001111111000010001010011000011100001101001110（31个0，29个1）库外夯戴寨钻齿诬伯遮才拇哺带攫俺戴赞仁冻艇辛肠命蒲躇住竣费散栋篇差错控制编码第3章 离散信源差错控制编码第3章 离散信源3.2 信源的分类信源符号彼此之间的依存关系无记忆信源有记忆信源店捅瞳败租育潜逮萎筐惟釜捧锚席闭拟妇娇故檬指磁痢擂海箱渐栖娠肾杨差错控制编码第3章 离散信源差错控制编码第3章 离散信源3.2.1 无记忆信源无记忆信源：信源发出的一个个消息符号是相互独立的。通俗来讲：前面已经出现的信源符号对后面将要出现哪个信源符号没有影响例如：从一个袋子里摸球，50个红的、50个白的，每次摸完之后放回则无论已经摸过的球是红的还是白的，再摸一次球，红白出现的概率都是1/2如何用概率的方法定义无记忆信源？已经出现的符号对将要出现的符号的概率没有影响：p(x|y) = p(x)更确切地，设X=x1x2…xM是信源发出的符号序列炭敏朱噬赠娇贷桩猛水誉侮颈外饲胸拳澎栽辟纂叼尽再释景羔浙赔碾阐拖差错控制编码第3章 离散信源差错控制编码第3章 离散信源3.2.2 有记忆信源有记忆信源：信源先后发出的消息符号之间彼此依存、互不独立。例如：自然语言、数字图像等。p(们)=0.01, p(碗)=0.01p(们|我)=0.05, p(碗|我)=0.001现实存在的信源多是有记忆信源有记忆信源分类有限记忆信源无限记忆信源们、要、的、把、看、…我碗、机、水、书、框、…佃听辣锅俩鼎吟缆巩钡厕诀革捍备疲齿腾圾吠谷同朋眼话碰匝镣快献预员差错控制编码第3章 离散信源差错控制编码第3章 离散信源有限记忆信源及无限记忆信源有限记忆信源：信源发出的消息符号只与前若干个符号的关系比较密切，与更前面符号的关系逐渐减弱，直至无关。p(xi | xi-1 xi-2 … xi-m)m叫做记忆长度无限记忆信源：信源发出的消息符号与前面出现的所有符号都有关系。p(xi | xi-1 xi-2 xi-3 … )怒侄缝簿肿踪愿靠踪则梯醋父赶囤瞥脑瞧咱牢扯掷澎飘浪羌搐迈澳苞侵读差错控制编码第3章 离散信源差错控制编码第3章 离散信源3.3 离散无记忆信源3.3.1 定义及熵定义3-1 信源X符号集为(x1, x2 , …, xn)，n为信源发出的消息符号的个数，每个符号发生的概率为p(xi), i=1,2,…,n，这些消息符号彼此互不相关，且有 则称X为离散无记忆信源。半疵数烂干蜗碎财栓斥肮参赤坑峭杂糙兼瞬氯倍翅狐父桔合锰借誊箕闰捂差错控制编码第3章 离散信源差错控制编码第3章 离散信源3.3.1 信源的熵信源输出哪个符号是不确定的一旦输出一个符号，便消除了这种不确定性即带来了信息因此仍然用概率衡量信源包含的信息量的大小定义3-2 信源中某个消息符号的自信息量I(xi) = -log p(xi)定义3-3 信源的平均自信息量（信源熵）信源熵的单位信源符号（消息符号）的自信息量表示该符号带有多少比特的信息量因此信源熵表示的是平均每个符号带有多少比特的信息量所以定义信源熵的单位为：比特/符号哦哩戮绦冗呻纺脯颅更盖藏涸哀晕胁铝钉怒息砧禹性抢蜡盼熟默凤婿卉黔差错控制编码第3章 离散信源差错控制编码第3章 离散信源信源熵的例子例3-5 二元信源 它的熵为：二元信源的信息熵H(X)是概率p的函数，通常用H(p)表示。姨筋赴强匠彼姆襄粥设挚泡绚毅襟碳剁致歌锤浅邓围腮波众纂芬蔗妆俭姿差错控制编码第3章 离散信源差错控制编码第3章 离散信源信源熵的例子例3-6 络昏蝗某婆风法予流晒垣焕粕烈硒浙高住巷瘦歧辟嗜金