信息论与编码chap3.pptxVIP

;3.1 信道的数学模型和分类 ;3.1 信道的数学模型和分类 ;根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道 根据信道输入端和输出端的关联： 无反馈信道 反馈信道 根据信道的参数与时间的关系： 固定参数信道 时变参数信道 根据输入和输出信号的特点： 离散信道 ??续信道 半离散或半连续信道 波形信道;二、离散信道的数学模型;根据信道的统计特性即条件概率 P(y/x)的不同，离散信道又可分成三种情况： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道 ; (1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即： y ＝ f (x);(2)有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。; (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。 例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。;三、单符号离散信道;信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描述干扰影响的大小。 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描述。 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然，也可用下图来描述：;[例1] 二元对称信道，[BSC，Binary Symmetrical Channel];符号“2”表示接收到了“0”、“1”以外的特殊符号;一般离散单符号信道的传递概率可用矩阵形式表示，即 ;3.2 信道疑义度与平均互信息;一、信道疑义度;接受到bj后，关于X的不确定性为 ;互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量;平均互信息I(X; Y)： I(xi ; yj)的统计平均。;关于平均互信息I(X;Y) 互信息 I(x ; y) 代表收到某消息y后获得关于某事件x的信息量。它可取正值，也可取负值。 若互信息I(x ; y)0，说明在未收到信息量y以前对消息x是否出现的不确定性较小，但由于噪声的存在，接收到消息y后，反而对x是否出现的不确定程度增加了。 I(X;Y)是I (x ; y)的统计平均，所以I(X;Y) = 0。 若I(X;Y) = 0，表示在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量----全损信道。; I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY) 其中：;平均互信息与各类熵之间关系的集合图（维拉图）表示： H(X|Y) = H(X) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) ; 两种特殊信道;（2）、输入输出独立信道 ( 全损信道 ) 信道输入端X与输出端Y完全统计独立;二种极限信道各类熵与平均互信息之间的关系; 三、平均互信息的性质;（3）交互性（对称性） 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时 I(X;Y) = I(Y;X)=H(X)=H