信息论与编码第2章.pptVIP

2.4.1离散无记忆信源的序列熵无记忆信源：设信源输出的随机序列为，序列中的变量，即序列长为L。随机序列的概率为：信源的序列熵为：若又满足平稳性，即与序号l无关时：则信源的序列熵为H(X)=LH(X)，平均每个符号的熵为：离散无记忆平稳信源平均每个符号的符号熵HL(X)就等于单个符号信源的符号熵H(X)。0103022.4.1离散无记忆信源的序列熵1离散无记忆平稳信源平均每个符号的符号熵就等于单个符号信源的符号熵H(X)。2例：（题干见习题2.7）2.4.1离散无记忆信源的序列熵例：谈用不包有所适从事事无奈何可争辩后面几乎以概率“1”出现“事”字后面有四个字可以出现1232.4.2离散有记忆信源的序列熵一、平稳有记忆信源序列平稳随机序列的定义：所谓平稳随机序列，就是序列的统计特性（事件发生的概率）与时间的推移无关，即信源所发符号的概率分布与时间起点无关。所以对于平稳信源来讲，其条件概率也与时间起点无关，只与关联长度N有关。对称性1物理意义平均互信息的性质非负性2物理意义：从整体平均意义而言，从一个事件提取另一个事件的信息，最坏情况是0，不会由于知道了一个事件，反而使另一个事件的不确定性增加。极值性13物理意义2凸函数性14研究信道容量的理论基础。2研究信源的信息率失真函数的理论基础。三维联合集的平均互信息：信息论与编码-信源及信源熵信息论与编码-信源及信源熵2.2.5数据处理中信息的变化在一些实际的通信系统中，常常需要在信道输出端对接收到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统也可以看成是一种信道，它与之前传输数据的信道相互间是级联的关系。第一级处理器X输入第二级处理器YZ图2.8级联处理器示意图从级联信道输出端Z中获取的关于输入端X的平均交互信息量I(X;Z)，不会超过从第一级信道的输出端Y中获取关于输入端X的平均交互信息量I(X;Y)，也不会超过从第二级信道的输出端Z中获取关于输入端Y的平均交互信息量I(Y;Z)。结论：随着级联处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。这就是数据处理定理：多级处理使得信息量减少，数据处理过程中只会失掉一些信息，绝不会创造出新的信息，即信息不增性。12信息论与编码-信源及信源熵数据处理定理的另一个应用：若想从测量结果中获得更多的关于X的信息量，必须付出代价。常用的方法代价可以是多次测量。结论：多次测量得到的互信息量大于单次测量所得到的结果。27例2-11信息论与编码-信源及信源熵2.2.6各种熵之间的关系H(X/Y)H(Y/X)04H(XY)05I(X;Y)01H(Y)03H(X)02信息论与编码-信源及信源熵XYXYXYXYXY2.3.1连续信源熵2.3.2最大熵定理?限峰功率最大熵定理?限平均功率最大熵定理2.3连续信源的熵和互信息连续信源的数学模型：R为实数集，是变量X的取值范围为随机变量的概率密度函数连续信源熵假设x∈[a,b],令Δx=(b-a)/n，xi∈[a+(i-1)Δx，a+iΔx],利用中值定理X取xi的概率：01积分中值定理：如果函数f(x)在闭区间[a,b]上为连续函数，则在积分区间[a,b]上，至少存在一点ξ，使下式成立。02连续信源熵01连续信源X被量化为离散信源：02且连续信源熵这时离散信源的熵是：当时，离散随机变量趋于连续随机变量X，而离散信源的熵的极限值就是连续信源的不确定度/绝对熵/香农熵。连续信源熵H(X)为无穷大定义连续信源的熵为：这样定义的熵虽然在形式上和离散信源的熵相似，也满足离散信源熵的主要特性，如可加性，但在概念上二者有差异，前者失去了部分离散熵的含义与性质，如非负性。0102连续信源熵例：求均匀分布的连续信源熵结论：连续信源熵不具备非负性。由于绝对熵还有一个正的无限大项，因此依然为正(无穷大)。连续信源熵例2-14有一信源概率密度如图所示，求连续熵解:由图(a)得由图(b)得连续信源熵同理，可以定义两个连续随机变量X、Y的联合熵与条件熵，即连续信源熵它们之间也有与离散信源一样的相互关系