中南大学信息论与编码课件Inf_T_C_2.3N.ppt

2013 秋季 信息11 Inf Theory Coding-张祖平 信息论与编码 张祖平/Zhang Zuping 电子信息工程系 School of Information Science and Engineering,Central South University , zpzhang@csu.edu.cn 本章小结 作业 * 联合概率是存在2种条件概率的 * * * * 联合概率是存在2种条件概率的 * 证明见书和书上的提示 * 无干扰：如果信道中无干扰(噪声)，信道输出符号与输入符号一一对应，那么，接收到传送过来的符号就消除了对发送符号的不确定性。 有干扰：但一般信道中有干扰(噪声)存在，接收到Y后对发送的符号是什么仍有不确定性 在信道输出端收到输出随机变量Y（任意一个符号？？还是全部符号呢？？书写的是全部符号哦）的后，对于信道输入端随机变量X尚存在的平均不确定性(存在疑义)，这个条件熵 H(X|Y)为信道疑义度。 * 证明见书和书上的提示 * 证明见书和书上的提示 * * 证明见书和书上的提示 * 无干扰：如果信道中无干扰(噪声)，信道输出符号与输入符号一一对应，那么，接收到传送过来的符号就消除了对发送符号的不确定性。 有干扰：但一般信道中有干扰(噪声)存在，接收到Y后对发送的符号是什么仍有不确定性 在信道输出端收到输出随机变量Y（任意一个符号？？还是全部符号呢？？书写的是全部符号哦）的后，对于信道输入端随机变量X尚存在的平均不确定性(存在疑义)，这个条件熵 H(X|Y)为信道疑义度。 * 信道可能会误码，不会变成其他的 * 信道可能会误码，不会变成其他的 * 信道可能会误码，不会变成其他的 * 注意理解这个图，X的圈表示H（X)，表示X每发一个符号带来的平均信息量，表示X的平均不确定性 H（X)的圈越大表示信息量越大，不确定性越大，概率越小 H(XY)表示X和Y同时发生的不确定性，表示X和Y同时发生的不确定性的平均信息量，XY同时发生概率明显比X单独发生小，所以H（XY）的圈是X和Y的圈的并集。 * 信道可能会误码，不会变成其他的 * 解之得： 练习 * 设二进制对称信道的信道矩阵为： 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)； 求该信道的信道容量及其达到的输入概率分布。 * 信道的数学模型 信道的交互信息量 条件交互信息量 平均交互信息量及其特性 信道容量及其一般算法 特征信道容量的计算 第三版书 P182 2.1 (1),(2),(3),(5) 2.2 2.4 第二版书 2.1 (1),(2),(3),(5) 2.2 2.4 * 离散信道：输入输出取值均离散，时间和幅度均离散 数字图像 连续信道：输入输出取值均连续，时间离散，幅度连续 跳远比赛的结果，语音信号抽样后 半离散信道：输入输出其中一个离散，另一个连续 波形信道：输入输出取值均连续，时间连续，幅度也连续，一般用随机过程来描述 平时说话，音乐，热噪声，语音 无记忆信道：输出仅与当前输入有关，与过去无关 有记忆信道：输出与当前输入有关，与过去输入输出都有关 无记忆信道：信道输出集Y仅与当前输入集X有关，而与过去集X无关。如果考虑输入、输出事件集合的特点，则又可分为离散无记忆信道和连续无记忆信道 有记忆信道：信道输出集Y不仅与当前输入集X有关，且与前面的输入集X有关。如果信道的输出集Y只与前面有限时间段上的输入有关时就称为有限记忆信道。有限记忆信道具有马尔可夫特性。 * * * * * * 根据条件概率公式，请参考概率论复习课件 * * * * 都是r*s的，传输概率是条件概率，联合概率矩阵是联合概率，交互信息量是log（后验概率/先验概率） * * 当后验概率大于先验概率，即p(xi|yj) p(xi)时，互信息量为正值，即I(xi ; yj) 0； 当后验概率小于先验概率，即p(xi|yj) p(xi)时，互信息量为负值，即I(xi ; yj)0 。 当后验概率等于先验概率，即p(xi|yj)= p(xi)时，互信息量为零，即I(xi ; yj)=0 。 * * 都是r*s的，传输概率是条件概率，联合概率矩阵是联合概率，交互信息量是log（后验概率/先验概率） * 都是r*s的，传输概率是条件概率，联合概率矩阵是联合概率，交互信息量是log（后验概率/先验概率） * 步骤2：反向信道 * 步骤2：反向信道 * * * 步骤2：反向信道 * 得到I（X；bj）》0的推导请看书上 * 步骤2：反向信道 * 步骤2：反向信道 * 目录 信道容量的概念 几种无噪信道的信道容量 几种对称信道的信道容量 一般离散信道的信道容量 * 信道容量的概念 信道容量的基本概