通信原理_信息理论.ppt

第十二章 信息理论 12.1 离散信源的熵 熵的定义： 设：信源 X 能发出n个不同的消息x1, x2, …, xi, …, xn， 则定义熵为信源的平均信息量 H(X)： 式中，I (xi) = - log2 P(xi) (b) I (xi)表示消息 xi含有的信息量 熵H(X)可以理解为信源的平均不确定度。 二进制信源的熵 设： 信源仅有“0”和“1”两种消息。 发送“1”的概率P(1) = ?， 则 发送“0”的概率P(0) = 1 - ? = ? 信源的熵等于 若一个消息是一个码元，则熵H(?)的单位：比特 / 码元 H(?)～ ?曲线 当? = 1/2时，此信源的熵最大；这时的两个消息是等概率出现的，其不确定度最大。 当? ? 1/2时，一个消息比另一个消息更可能出现，因此不确定度减小。 若? 或 ? 等于0，则不确定度为0。 n 进制信源的熵 设：信源有n种可能出现的消息，并用Pi表示第i个消息的 出现概率， 则由熵的定义可以写出此信源的熵 熵的最大值： 令上式对Pk的导数等于0，求H的最大值。 由于 故当Pk变时， 可仅使Pn随之变化，并保持其他Pi为常数。 于是得到 利用求导数公式 上式变为 或 令 等于0，就可以求出H的最大值。 当Pk = Pn，上式等于0。由于Pk是任意一个消息的出现概率，所以有 将上式代入 得到H的最大值： 12.2 离散信道模型 二进制无记忆编码信道的模型 信道的特性：由下列信道转移概率矩阵所完全确定 式中，P(yj /xi) － 发送 xi ，收到 yj 的条件概率。 信道输入和输出概率关系 若输入概率矩阵为 则由 可以计算出 输入输出的联合概率矩阵P(X, Y) 将[P(X)]写成对角线形式： 并与 相乘，得到联合概率矩阵P(X, Y)： 式中， － 发送 xi 收到 yj 的联合概率 例1：设有一个二进制信道，如图所示， 其转移矩阵为： 若信道输入的概率为 试求输出概率矩阵P(Y)和联合概率矩阵P(X, Y)。 [解] 输出概率矩阵: 联合概率矩阵: 12.3 联合熵和条件熵 设：一信道有n个可能输入和m个可能输出， 则可用输入概率P(xi)，输出概率P(yj)，转移概率P(yj/xi)和联合概率P(xi, yj)定义下列不同的熵函数： － 信源的平均不确定度； － 接收码元的平均不确定度； －给定发送X后接收码元的 平均不确定度； －收到一个码元后发送码元 的平均不确定度； －整个通信系统的平均不确 定度。 联合熵公式： 12.4 无噪声信道容量 互信息量 I (X; Y) 定义：在收到发送码元后，此发送码元的平均不确定度的下降量 式中， H(X) － 信源的平均不确定度； H(X / Y) － 收到一个码元后发送码元的平均不确定度 上式可以改写为 性质： 信道容量C 定义：互信息量的最大值 （b/码元） 性质：C 仅是信道转移概率的函数； C是一个码元能够传输的最大平均信息量。 例2：试求下图中的无噪声离散信道的容量。 【解】 由式 及式 可知，对于无噪声信道， 当 i ? j 时， P(xi, yj) = 0, P(xi / yj) = 0; 当 i = j 时，P(xi / yj) = 1。 因此，H(X / Y) = 0，I(X; Y) = H(X) 若信源中所有码元是等概率的，则信源的熵H(X)最大。 因此， 例3：试求图中二进制对称信道的容量。 其中P(x1) = ?，P(x2) = 1 - ?。 【解】根据信道容量的定义式， 需要求出 的最大值。 上式右端第二项为 将P(