信息论复习知识点详解实用版.pdfVIP

1、平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

为loglog比特符号如信源发出由m个和m个构成的序列序列的自信息量为mlogmlog比特符号离散对称信道输入等概率时输出为等概分布根据码字所含的码元的个数编码可分为定长编码和变长编码设DMS为UPUuuuuuXx对进xu用二元符号表二简答

平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减

少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：

真传递信息的条件是信息率小于信道容量代表的信道的信道容量C信道矩阵信道矩阵代表的信道的信道容量C高斯加性噪声信道中信道带宽kHz信噪比为则该信道的最大信息传输速率CtkHz对于具有归并性能的无燥信道达到信道容量的条件是pyjm代表的信道若每

5、香农公式为为保证足够大的信道容量，可采

用