信息论导论--信息论复习.ppt

了解离散平稳信源联合熵、条件熵的定义和关系，掌握二维离散平稳信源联合熵和平均符号熵的计算； 掌握离散平稳无记忆信源（扩展信源）的特点，其联合熵、平均符号熵和极限熵的计算； 了解马尔科夫信源的特点和状态转移图表示，马尔科夫信源极限熵的计算过程，掌握一阶、二阶马尔科夫信源极限熵的计算。 赫夫曼码 Z信道 的信道容量C及达到信道容量 时的信源概率分布P(X)。 例 例 信道　　　　　　　　　　的信道容量及达到信道 容量时的信源概率分布。 信道矩阵既行可排列，又列可排列，该矩阵所表示的信道为对称信道。 信源概率分布 的信道容量及达到信道容量时的信源概率分布。 例 行可排列 不存在P，列不可排列。 按列分成两个不相交的子集后，两个子集构成的子信道矩阵 都列可排列，该信道为准对称信道。 当信源概率分布 信道容量 第5章 信道编码 理解信道编码定理；了解纠错编码的概念 掌握线性分组码的纠错能力、生成矩阵和编码、校验矩阵、错误图案和译码。 G是(n,k)码的生成矩阵，H是它的校验矩阵； GHT=0 ，H＝[－ PT? In-k ]，二进制时，负号可省略。 例 (6,3)线性分组码，其生成矩阵是 G= 求： (1)计算码集，计算最小码距 (2)计算系统码的校验矩阵H。若收码r = [100110], 检验它是否码字？ 1 1 1 0 1 0 ① 1 1 0 0 0 1 ② 0 1 1 1 0 1 ③ 第6章 连续信源与连续信道 掌握时不变连续信源相对熵的定义及其意义，相对熵的计算和性质； 掌握连续系统平均互信息量的的定义、计算和性质； 掌握加性信道的特点，高斯加性信道最大信息传输速率计算式（香农公式）的导出、意义和计算。 * * 信息论导论 通信与信息工程学院 杨海芬 yanghf@uestc.edu.cn 第1章 概论 理解信息的一般概念； 信息的定义，信息与消息、信号的联系与区别； 信息是消息中具有的不确定性成分 通信系统中信道传输信号，信号承载消息，消息有意义的内容是信息。 信息的性质及分类 了解信息论的形成与发展； 了解香农信息论的研究内容； 掌握自信息量的定义和计算； 掌握单符号离散信源熵的定义、计算和性质； 非负性、严格上凸性、最大熵定理 第2章 离散信源及其熵 s1 s2 s3 s4 0.2 0.8 0.5 0.5 0.5 0.5 0.2 0.8 遍历定理 例2：图示二元二阶马尔科夫信源的极限熵 完备性 2.17黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X); (3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。 解： (1) (2) (3) H(X) H2(X) 表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。 例 求信源的熵 例 信源的熵及p-H(p)曲线 0 0.5 1 H(p) 1 p 第3章 离散信源无失真编码 理解无失真信源编码定理； 了解异前置码的特点、树图表示和克拉夫特不等式， 掌握二进制香农码的编码步骤，编码效率计算； 掌握二进制霍夫曼码的编码步骤，编码效率计算。 香农码的编码步骤： ①将符号序列按概率降序排列 ②确定第i个码字的码长ki 香农码 ③令P(a0)=0，计算第i-1个符号序列的累加概率 ④将Pa(ai)用二进制表示，取小数点后ki位作为符号序列ai的码字ci 分别对该信源和其二次扩展信源编香农码，并计算编码效率。 例 xi P(xi) ki Pa(xi) ci x1 0.5 1 0 0 x2 0.3 2 0.5 10 x3 0.2 3 0.8 110 (2)对二次扩展信源编码 将符号序列ai按概率降序排列 ai P(ai) ki Pa(ai) ci a1 0.25 2 0 00 a2 0.15 3 0.25 010 a3 0.15 3 0.4 011 a4 0.1 4 0.55 1000 a5 0.1 4 0.65 1010 a6 0.09 4 0.75 1100 a7 0.06 5 0.84 11010 a8 0.06 5 0.9 11100 a9 0.04 5 0.96 11101 ①将符号序列ai按