一章节信息论初步讲课教案.pptVIP

第一章 信息论初步;二进制信源的熵 设： 信源仅有“0”和“1”两种消息。 发送“1”的概率P(1) = ?， 则 发送“0”的概率P(0) = 1 - ? = ? 信源的熵等于 若一个消息是一个码元，则熵H(?)的单位：比特 / 码元 H(?)～ ?曲线 当? = 1/2时，此信源的熵最大；这时的两个消息是等概率出现的，其不确定度最大。 当? ? 1/2时，一个消息比另一个消息更可能出现，因此不确定度减小。 若? 或 ? 等于0，则不确定度为0。 ;n 进制信源的熵 设：信源有n种可能出现的消息，并用Pi表示第i个消息的 出现概率， 则由熵的定义可以写出此信源的熵 熵的最大值： 令上式对Pk的导数等于0，求H的最大值。 由于 故当Pk变时， 可仅使Pn随之变化，并保持其他Pi为常数。 于是得到 利用求导数公式 上式变为 或;令 等于0，就可以求出H的最大值。 当Pk = Pn，上式等于0。由于Pk是任意一个消息的出现概率，所以有 将上式代入 得到H的最大值： ;输入输出的联合概率矩阵P(X, Y) 将[P(X)]写成对角线形式： 并与 相乘，得到联合概率矩阵P(X, Y)： 式中， － 发送 xi 收到 yj 的联合概率 ;例1：设有一个二进制信道，如图所示， 其转移矩阵为： 若信道输入的概率为 试求输出概率矩阵P(Y)和联合概率矩阵P(X, Y)。 [解] 输出概率矩阵: 联合概率矩阵:;1.3 联合熵和条件熵 设：一信道有n个可能输入和m个可能输出， 则可用输入概率P(xi)，输出概率P(yj)，转移概率P(yj/xi)和联合概率P(xi, yj)定义下列不同的熵函数： － 信源的平均信息量； 熵 － 接收码元的平均信息量；熵 －给定发送X后接收码元的 平均不确定度；条件熵 －收到一个码元后发送码元 的平均不确定度；条件熵 －整个通信系统的平均不确 定度。联合熵 联合熵公式： 该式的证明见讲义稿！;连续信源的信息度量：见讲义稿！;2.4 有扰离散信道的信道容量 互信息量 I (X; Y) 定义：在收到发送码元后，此发送码元的平均不确定度的下降量 式中， H(X) － 信源的平均不确定度； H(X / Y) － 收到一个码元后发送码元的平均不确定度 上式可以改写为 性质： 信道容量C 定义：互信息量的最大值与发送端符号发送速率r的乘积 （b/s） 性质：C 仅是信道转移概率的函数； C是有扰离散信道的最高信息传输速率。 ;例2：试求下图中的无噪声离散信道的容量。 【解】 由式 及式 可知，对于无噪声信道， 当 i ? j 时， P(xi, yj) = 0, P(xi / yj) = 0; 当 i = j 时，P(xi / yj) = 1。 因此，H(X / Y) = 0，I(X; Y) = H(X) 若信源中所有码元是等概率的，则信源的熵H(X)最大。 因此， ;例3：试求图中二进制对称信道的容量。 其中P(x1) = ?，P(x2) = 1 - ?。 【解】根据信道容量的定义式， 需要求出 的最大值。 上式右端第二项为 将P(x1) = ?，P(x2) = 1 - ?和转移概率p, q代入上式，得出 上式可以化简为 将上式代入 得到 ; 当H(Y)为最大时，上式达到最大。 H(Y)的最大值等于 1，故 按照上式画出的曲线： 结束;2.2.2 有扰连续信息的信息传输（见讲义） 对于白色加性高斯噪声的连续信道，它能够传输的最大信息速率由下式给出： －－ 香农-哈特莱(Shannon-Hartley)定律 式中， B － 信道带宽（Hz）， S/N － 信