信息论与编码清华出版社第2章信源与信息熵-qtech.ppt

* 不可约性，对于任意一对I和j，都存在至少一个k，使pij(k)0.（从si开始，总有可能到达sj） 非周期性，所有pij(n)0的n中没有比1大的公因子。（ 注：当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。 ） 定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。 2.3离散序列信源的熵 * Eg.有一个相对编码器，求平稳分布。 2.3离散序列信源的熵 输入码Xr是相互独立的，取值0或1，已知P(X=0)=p,P(X=1)=1-p=q;显然： Y1=X1,Y2=X2 Y1,…… Yr为一个马尔科夫链；（Why？） * 2.3离散序列信源的熵 且知Yr序列的条件概率为： 即存在转移矩阵： ，其与r无关，因而是齐 次的。其状态转移图如下： 该马尔科夫链具有不可约性与非周期性。 0 1 q q p p * 2.3离散序列信源的熵 由方程组 可求得稳态概率分布： ，所以该马尔科夫链是可遍历的。 * Eg. 二阶马氏链，X?{0,1},求平稳分布。 起始状态 00 01 10 11 1/2 1/3 1/4 1/5 1/2 2/3 3/4 4/5 0 1 2.3离散序列信源的熵 符号 其符号条件概率p(aJ|si)为： * 2.3离散序列信源的熵 其符号条件概率矩阵为： * 起始状态 00 01 10 11 1/2 0 1/4 0 1/2 0 3/4 0 0 1/3 0 1/5 0 2/3 0 4/5 S1(00) S2(01) S3(10) S4(11) 2.3离散序列信源的熵 其状态转移概率p(sJ|si)为： * 2.3离散序列信源的熵 其状态转移矩阵为： * 2.3离散序列信源的熵 令各状态的稳态分布概率为W1,W2,W3,W4,则有： 可求得： W1=3/35,W2=6/35,W3=6/35,W4=4/7。 * * 离散无记忆信源的序列熵 设输出信源为随机序列X，X=（X1，X2，…Xl,…,XL）,序列中的单个符号 2.3离散序列信源的熵 * 离散无记忆信源的序列熵 当信源无记忆时， 2.3离散序列信源的熵 * 平均每个符号熵（消息熵） 2.3离散序列信源的熵 若序列满足平稳性，即熵与序号L无关，那么 离散无记忆信源平均每个符号的符号熵等于单个符号信源的符号熵。 * 离散有记忆信源的序列熵和消息熵 2.3离散序列信源的熵 * Eg 信源发出二重符号序列消息（ai,aj）,其概率空间和条件概率如下所示。求信源的序列熵和平均符号熵。 a1 a2 a3 a1 a2 a3 9/11 1/8 0 2/11 3/4 2/9 0 1/8 7/9 2.3离散序列信源的熵 表：两符号的条件概率 * 解:条件熵 其中 单符号信源熵 二重符号序列的熵 平均符号熵 Q：为什么 * 2.5 冗余度 冗余度（多余度，剩余度），表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面： 信源符号间的相关性 相关程度越大，信源的实际熵就越小，趋向于 信源符号分布的不均匀性 等概率分布时，信源熵最大。 * 2.5 冗余度 设 为传输某信源实际所用的信息量，则： * Eg. 计算英文字母冗余度 2.5 冗余度 * 第2章复习 概念(1) 信息是可以定量描述的，可以比较大小。由概率决定； 对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量； 可通过对信源的观察、测量获得信息，以减少对信源的不确定度； * 考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降： H(X)就是信源无失真时必需输出的最小信息量； 第2章复习 概念(2) * 概念(3) 通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度： H(X/Y)=H(X)-I(X;Y) 信息通过系统传输，只会丢失信息，不会增加。丢失部分H(X/Y)是由噪声引起的。 * 定义、计算公式、相互关系 自信息量、信源熵 互信息、条件熵、联合熵 序列熵、平均符号熵、极限熵 冗余度 * 第一章作业题 课后题2-2,2-3,2-7,2-14 PCM（pulse code modulation），即脉冲编码调制。 * 在一个通信系统中,在收到某个消息之后,接收端所了解到的该消息发送的概率称为后验概率. 先验概率是指根据以往经验和分析得到的概率； 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的； 后验概率使用了