第4章-单符号离散信道PPT.ppt

信源 信道 信源熵H(X)：代表平均每个信源符号所携带的信息量 平均互信量I(X;Y)：代表信道平均每传输一个符号所传递的信息量 信源条件熵H(X/Y)：代表信道平均每传输一个符号所损失的信息量 3、意义 第6节 平均交互信息量 信源 信道 反向信道信源熵H(Y)：代表平均每个信源符号所携带的信息量 反向信道平均互信量I(X;Y)：代表信道平均每传输一个符号所传递的信息量 反向信道信源条件熵H (Y /X)：代表反向信道平均每传输一个符号所损失的信息量 第6节 平均交互信息量 1、非负性证明 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 2、I(X;Y) ＝0的条件 当X与Y统计独立时， I(X;Y) ＝0 验证： 第7节 平均交互信息量的非负性 若：X与Y统计独立，即 即 则有 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 设信源 通过一个信道，信道的 输出随机变量Y的符号集为 ，信道的矩阵 (2) 收到消息 后获取关于a1,a2的交互信息量 求 (1) 信源X中的符号a1和a2分别含有多少信息量 第7节 平均交互信息量的非负性 (3) 信源X和信宿Y的信息熵 (4) 信道疑义度H(X/Y)和噪声熵H(Y/X) (5) 接收到消息Y后获得的平均交互信息量 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 第7节 平均交互信息量的非负性 第8节 平均交互信息量的极值性 第8节 平均交互信息量的极值性 第8节 平均交互信息量的极值性 第8节 平均交互信息量的极值性 如果转移概率矩阵中每一列只有一个非零元素，疑义度等于0 第8节 平均交互信息量的极值性 发散性无噪声信道 第8节 平均交互信息量的极值性 4、交互信息量的三种数学表述 第4节 平稳无记忆信道的交互信息量 5、互信量与条件自信量、自信量的关系及互信量的意义 第4节 平稳无记忆信道的交互信息量 含义： 1) 从yj中获取的关于xi的信息量 从xi中获取的关于yj的信息量 第4节 平稳无记忆信道的交互信息量 第4节 平稳无记忆信道的交互信息量 6、讨论: 1) 如果xi和yj统计无关, 即P(xi|yj)=P(xi) 则有： I(xi;yj)=0 2) 如果xi由yj唯一确定, 即P(xi|yj)=1, 则有 I(xi;yj)=I(xi) 3) 当 0?P(xi|yj)P(xi)时, 则有 I(xi;yj)0 4) 当1?P(xi|yj)P(xi) ,则有 I(xi;yj)0 第4节 平稳无记忆信道的交互信息量 设信源 通过一个信道，信道的 输出随机变量Y的符号集为 ，信道的矩阵 求收到消息 后获取关于a1,a2的交互信息量 第4节 平稳无记忆信道的交互信息量 方法一： 第4节 平稳无记忆信道的交互信息量 第4节 平稳无记忆信道的交互信息量 第4节 平稳无记忆信道的交互信息量 方法二： 第4节 平稳无记忆信道的交互信息量 第4节 平稳无记忆信道的交互信息量 已知从符号B中获取关于符号A 的信息量是1比特，当符号A的先验概率(prior probability)P(A)为下列各值时，分别计算收到B后推测A的后验概率(posterior probability)应是多少。 第4节 平稳无记忆信道的交互信息量 1、串接信道模型 第5节 条件交互信息量 设信道1的输入符号集为 输出符号集为 设信道2的输入符号集为 输出符号集为 信 道 信道1 信道2 输 入 符 号 第5节 条件交互信息量 2、概率关系 1) 边缘分布关系 第5节 条件交互信息量 2) 条件概率分布关系 第5节 条件交互信息量 第5节 条件交互信息量 3、条件互信量 1) 定义 第5节 条件交互信息量 第5节 条件交互信息量 2) 同理： 第5节 条件交互信息量 P？例：已知无失真信源编码信源消息、消息编码及每一消息对应的码字如下表所示 信源 消息 a1 a2 a3 a4 a5 a6 a7 a8 码字 000 001 010 011 100 101 110 111 消息 概率 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 求接收消息a4的码字中第一、二、三符号后分别接收到的 信息量 第5节 条件交互信息量 第5节 条件交互信息量 1)、从第一个符号0中获取的关于消息a4的信息量 第5节 条件交互信息量 2)、