信息论总结与复习.ppt

信息论与编码 总结与复习 [例7] 已知对称信道 (1)求信道容量和最佳信源。 3.2 线性分组码: 码长为n，信息位为k ，记作（n , k）； 监督位r ＝n-k 1、编码 C = K?G 生成矩阵G是k × n的矩阵。 左半边是k×k单位信息位方阵Ik 右半边是k×r的监督位矩阵Q 2、纠错和译码 H一致校验矩阵 左半边是r×k矩阵P 右半边是r×r单位方阵Ir； P与生成矩阵中的Q互为转置关系：P=QT 监督方程也可表示为： C·HT = 0； 满足此方程的均为正确的许用码字，否则，便是误码。 N 维错误格式矢量 E 发送码字为C，接收码字为R ，三者的关系是： E = C ?R； R = C ? E； C =R ? E； 伴随子向量 S = R·HT S= R·HT = (C ? E) ·HT = C·HT ? E·HT = E·HT； 若R = C，E为全零向量，则S=0； 反之，若R ≠ C ，则E≠0，导致S≠0；因此由伴随子向量S是否为零就能检查出接收码R是否有误。 纠错： R错一位的情况：S与HT的哪一行相同，就表明错在哪一位。 R错两位以上：查表法， 查R-C对照来译码。 3、纠错能力不等式： 2 r ≥Cn0 +Cn1 + Cn2 +……+ Cnt 完备码：上式取等号的情况。 汉明码：纠1位错的完备码， 2r =1+n 解：(1) 一阶马尔可夫信源，状态为单个符号，信源符号集为X={0,1,2}，E1=0,E2=1,E3=2,稳态概率满足： Q(0)=p Q(0)＋(1-p) Q(1) Q(1)=p Q(2)＋(1-p)Q(1) 且，Q(0)+Q(1)＋Q(2)＝1 解方程：Q(0)＝1/3；Q(1)＝1/3；Q(2)＝1/3； (2) (3) 实际信源熵为H∞。p=0时， 理由：因为每种状态都只发两个符号，当一种符号概率为1时，另一个必然为0，实际上只发一种确定的符号，成为确定事件，其自信息为0。三种状态下发出符号的自信息均为0，平均值也一定为0。因此不确定性为0，所以信源熵为0。 第三部分、信道编码 3.2 线性分组码 第三部分、信道编码 3.2 线性分组码 第三部分、信道编码 3.2 线性分组码 第三部分、信道编码 3.2 线性分组码 第四部分、限失真信源编码 第四部分、限失真信源编码 4.1失真度 4.1 失真度 平方失真： 绝对失真： 相对失真： 汉明失真： 1、失真度的定义 3、平均符号失真度： 第四部分、限失真信源编码 4.2：率失真函数 4.2 率失真函数 1、保真度准则：预先指定一个允许失真的上限值D，叫做保真度，要求： 2、失真度矩阵D：由单符号失真度排列成， “行”为发送符号，“列”为接收符号。 2、率失真函数的定义：在满足保真度准则下，传信率R的下限值是保真度D值的函数，R(D)就叫做率失真函数。 3、R(D)的定义域： 4、R(D)的计算： R(Dmin) = R(0)= H(U) R (D max) = 0 （1）一般情况，按定义： （2）特殊情况，汉明失真： R(D)=min{I (U ; V)}=H(U)-H(D)-D log(r-1) 第四部分、限失真信源编码 4.2：率失真函数 [例11] 已知信源概率为：p(X)=(0.5, 0.3,0.2),，求汉明失真下保真度D=0.3时的最小传信率和该信源的最大平均失真度。 解：由汉明失真的率失真函数公式： R(D)=H(X)-H(D)-Dlog(r-1) H(X)=-0.5log0.5-0.3log0.3-0.2log2=1.4855 当D=0.3时，H(D)=-0.3log0.3-0.7log0.7=0.8813 最小传信率：R(0.3)=1.4855-0.8813-0.3log2=0.3042； 所以 D max = min [0.5 , 0.7, 0.8]=0.5 计算Dmax： ↓ ↓ ↓ 0.5 0.7 0.8 ?0.5