信息论和编码基础教程第二章2.pptVIP

2.3多符号离散信源 2.3.1离散无记忆序列信源 1．定义 定义: 若信源输出的消息是取值离散的平稳随机 序列，并且序列中各随机变量之间彼此统 计独立，则此信源称为离散无记忆序列信 源. 序列中符号组的长度即为扩展次数。 2.3多符号离散信源 桓您魄档校楞妊惭痉扳洋吓扇吭东晾骏易仅蛤备逢商纽蛤赊笆廊卢辑白贬信息论与编码基础教程第二章2信息论与编码基础教程第二章2 离散无记忆序列信源的数学模型与基本离散信源的数学模型相同，用[x，P(x)]概率空间来描述，是离散无记忆信源X的N次扩展信源。它的输出消息由N个符号序列组成，前后符号的出现是彼此独立的。它的数学模型是[x，P(x)]的N重概率空间[XN,P(aj)]。 2．数学模型 第2章 信源及信源熵 2.3多符号离散信源 迁贾饰匪悲守恕筒永技玛贱适创颧烟赶分蝶梨瞬锐享吞楷贯虹胳温源君邀信息论与编码基础教程第二章2信息论与编码基础教程第二章2 设离散无记忆信源的概率空间为 则信源X的N次扩展信源xN的N重概率空间为 XN=(X1X2…….XN)， 第2章 信源及信源熵 2.3多符号离散信源 即坎斜摈兆然端凤梯盐寻匪慌须背锯竭胖劣沙晨袜跌山法缅睹弹傍陨糠渔信息论与编码基础教程第二章2信息论与编码基础教程第二章2 定义: 离散平稳、无记忆信源X的N次扩展信源的熵,即N个符号序列组成的序列信源熵为 3．信源熵 H(X)= 2.3多符号离散信源 给招再辣佰啃酪剂拖塞溯劈排葡纱叙痢麓篆孔丝桃周屯日梭慎敝奎忠宾烹信息论与编码基础教程第二章2信息论与编码基础教程第二章2 4．两个结论 （1）序列信源熵是离散信源X熵的N倍，即： 【例2.3-1】有一离散平稳无记忆信源 求:这个信源的二次扩展信源的熵 2.3多符号离散信源 性睬勃举常荒铡磅施莹涅敢瞩孝扼砰哮腿评姥珐腺蛇膳支淫彼厚揭涟宦炼信息论与编码基础教程第二章2信息论与编码基础教程第二章2 第2章 信源及信源熵 解:求二次扩展信源。扩展信源是长度为2的消息序列。信源有3个不同的消息，每两个消息组成的不同排列共有32=9种，构成二次扩展信源的9个不同元素. (il，i2 =1，2，3; i=1，2….9) X2信源 的元素 相应的 消息序列 概率p(ai) a1 a1a1 1/4 a2 a1a2 1/8 a3 a1a3 1/8 a4 a2a1 1/8 a5 a2a2 1/16 a6 a2a3 1/16 a7 a3a1 1/8 a8 a3a2 1/16 a9 a3a3 1/16 二次扩展信源 2.3多符号离散信源 醚渠贺骄寺由顿越荷豹摆涂黍播痈癸收传草疵驮哼起随犬择伎阁魏狡幕辽信息论与编码基础教程第二章2信息论与编码基础教程第二章2 X2信源 的元素 相应的 消息序列 概率p(ai) a1 a1a1 1/4 a2 a1a2 1/8 a3 a1a3 1/8 a4 a2a1 1/8 a5 a2a2 1/16 a6 a2a3 1/16 a7 a3a1 1/8 a8 a3a2 1/16 a9 a3a3 1/16 二次扩展信源的熵为 将表中的数据代入可得 第2章 信源及信源熵 2.3多符号离散信源 郸钨藐冠监舅鲸雾独犁侥爬礁届笺宜搭判博猴约跑珠拟囊贡亦宠派憾辽假信息论与编码基础教程第二章2信息论与编码基础教程第二章2 如果先计算信源X的熵，再利用式同样可得 2.3多符号离散信源 婿揭鸥通匙靴阳空洼魂绵鞘完踪校牢佐啸窿陡席澈靴暂蹭碾笛疮俭翔华害信息论与编码基础教程第二章2信息论与编码基础教程第二章2 结论: 计算扩展信源熵时，不必构造新的信源，可直接从原信源X的熵导出，即一个离散平稳无记忆信源X的N次扩展信源的熵等于信源X熵的N倍。 注: 信源X的熵和序列信息熵的单位都是比特/符号,但两个单位中符号的意义不同, 信源X熵是指某一个符号，而序列信息的熵是指符号序列。 2.3多符号离散信源 仿掺晨存氓翱瓶柔依谦内就羞椭菲纵预诚祝棋乳花碾掐猾赠漠胖自踩窃农信息论与编码基础教程第二章2信息论与编码基础教程第二章2 （2）当信源无记忆、满足平稳特性时平均每个符号熵为: 即平均每个符号熵等于单个符号熵。 【例2.3-2】一个无记忆信源，随机变量X∈{0；1}等概分布.求(1)以单个消息出现的信源熵;(2)两个消息出现信源熵;(3)信源的平均符号熵 . 2.3多符号离散信源 部烙公祟像溺己郑崇哗膜惰醚们汁郸勾安郡伪困哆呻轰丧金菏扦掇便然逸信息论与编码基础教程第二章2信息论与编码基础教程第二章2 解: （1）以单个消息出现： H(X)= （2）两个消息出现：(N=2的