第三讲平均互信息.pptxVIP

3－1 信道和平均互信息 信息论主要是介绍信息流通系统的构成。信道是构成一般信息流通系统的重要部分。从广义上讲，它承担了信息传输和信息存储的任务，它以信号，特别是电信号的方式载荷着信息。信道是载荷着信息的信号所通过的通道。 信源输出的符号应当首先转化成能在信道中传输或存储的信号形式。 我们的主要目标是使信道中能传送或存储最大的信息。这就是信道容量问题。 1、信道的分类与描述 按信道输入输出空间的连续与否来分，可分为： 离散信道、连续信道、半连续信道、 时间离散的连续信道、波形信道按输入输出集合的个数来分： 两端（两用户）信道、多端信道（多用户信道）；按信道的统计特性来分： 恒参信道（平稳）、随参信道、 无记忆信道和有 记忆信道， 码间串扰，衰落信道按统计特性对输入端有否对称性，可分为： 对称信道和非对称信道。 为了统一描述各种信道，采用条件概率（以输入为条件）来说明输入和输出的关系。条件概率分为三种情况：（1）、无干扰情况。此时输出符号与输入符号之间有 确定的关系。信道容量问题此时转化为信号所能承 载的最大信息问题。就是信源编码问题。 （信源问题可以视为信道问题）（2）、有干扰无记忆情况。实际信道常是有干扰的，输出符号与输入符号之间、输出符号之间无确定的函数关系。DMC－Discrete Memoryless Channel （此条件为DMC的充要条件。）（3）、有干扰有记忆情况。 更一般的情况是既有干扰又有记忆，实际信道往往是这类型。例如数字信道中，当信道的频率特性不理想时，某一瞬间的输出符号不但与相应的输入符号有关，而且也与这以前的输入符号有关，这就成为有记忆信道，即通常所称的码间干扰问题。两种方法：条件概率；马尔可夫链。总结：信道的描述：条件概率信道无干扰（无噪）信道： 确定关系有干扰无记忆信道：有干扰有记忆信道： 当不止一个输入和输出的情况就成为多用户问题。 单符号离散信道： 输入变量为X，取值于 输出变量为Y，取值于 条件概率为 发送一个符号a，接收到一个符号b，关于a的信息量发送多个符号A，接收到多个符号B，关于A平均信息量一般离散单符号信道的传递概率可用矩阵形式表示或者简写为 以上符号中 i 表示行号，j 表示列号，行号是条件。这个矩阵又叫做信道矩阵。 （可计算输出端的概率分布）2、条件熵和互信息的定义条件自信息： 设在 条件下，随机事件 的条件概率为 ，则 的出现所带来的信息量被称为它的条件自信息，表示为 条件熵：集X的条件熵： （P(x|y)P(y)=P(y|x)P(x)）集X相对于集Y的条件熵： 联合自信息： 联合熵： 互信息：互信息表征了信息传递的能力。 平均互信息： 特定 y 出现所给出的关于集X的平均互信息： 特定 x 出现所给出的关于集Y的平均互信息： 集 X 和集 Y 之间的平均互信息为： 上式表示：互信息表示 Y 中含有的 X 的平均信息量，而这一信息量等于原信息源 X 的平均信息量，减去 Y 出现后 X 还有的平均信息量，也就是 Y 未能传递的 X 的平均信息量。后一项也就是由于信道的干扰造成的信息量的丢失。 条件互信息： 平均条件互信息：XY1-pa1=0 0=b1pp a2=1 1=b21-p例题：( 例3 . 3 ) 四个等概分布的消息M1，M2，M3，M4，被送入一个二元无记忆对称信道进行传输。通过编码使 M1＝00，M2＝01，M3＝10，M4＝11，试问：输入是M1和输出符号是0的互信息是多少？如果第二个符号也是0 ，这时带来多少附加信息？输入M1和第一个输出符号0的联合概率为 根据信道特性，输出第一个符号为0的概率为 若输出为00：因为信道是无记忆的 3－ 2平均互信息的性质（1）、非负性但非平均互信息可能为负值。互信息量＝log（后验概率）－log（先验概率）。 （2）、对称性（3）、与熵的关系H（X|Y）I(X;Y)H（Y|X）H（X，Y） H(X|Y) 常称为疑义度、含糊度，－－损失熵 它表示观察到Y后，集X还保留的不确定性。 H(Y|X) 常称为散布度，－－噪声熵（由噪声引起） 它表示由于干扰的影响，使观察的Y存在的 平均不确定性。 （4）、小于任何一个集的熵 这一性质清楚地说明了互信息量是描述信息流通性的物理量，流通量的数值当然不能大于被流通的数值。由于自信息量是为了确定某一事件出现所必须提供的信息量，因此，这一性质又说明某一事件的自信息量是任何其他事件所能提供的关于该事件的最大信息量。 （5）、互信息的凸性： 定理：当条件分布 给定时，平均互信息 是 输入分布 的上凸函数。 (变换为P(y)的函数)（这一定理应用于信道容量；）定理：当集X的概率分布保持不变时，平均互信息 是所有条件分布