信息论复习知识点.docx

1 、平均自信息为 1 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息歹（吗｛丹）坯） 平均互信息 表示从丫获得的关于每个X的平均信息量，也表示发X前后丫的平均不确定性减少的 量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、 最大熵值为■ - ■-- - 4、 通信系统模型如下： 5、香农公式为用频带换信噪比；（ 5、香农公式为 用频带换信噪比；（2）用信噪比换频带。 bit / s 为保证足够大的信道容量，可采用 （1） 0 2 左 3） 6、 只要 ，当N足够长时，一定存在一种无失真编码。 7、 当Rv C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误 概率无穷小。 8在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面 的因素。 9、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创 立了信息论。 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描 述。 11、 一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概 率对数的负值。 12、 自信息量的单位一般有 比特、奈特和哈特。 13、 必然事件的自信息是0 。 14、 不可能事件的自信息量是 s 。 15、 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和。 16、 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输 出消息之间的平均互信息量 趋于变小。 17、 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源 X的熵的N倍。 18、 离散平稳有记忆信源的极限熵，仏“聖以梯2 Xn」)。 19、 对于n元m阶马尔可夫信源，其状态空间共有 nm个不同的状态。 20、 一维连续随即变量X在［a，b］区间内均匀分布时，其信源熵为Iog2 (b-a)。 1 log 2 2~ eP 21、 平均功率为P的高斯分布的连续信源，其信源熵，Hc (X) =2 。 22、 对于限峰值功率的N维连续信源，当概率密度 均匀分布 时连续信源熵具有最大 值。 23、 对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、 对于均值为0,平均功率受限的连续信源，信源的冗余度决定于平均功率的限定 值P和信源的熵功率P之比 25、 若一离散无记忆信源的信源熵 H (X)等于2.5，对信源进行等长的无失真二进制 编码，则编码长度至少为 3 。 n 瓦m丄兰1 26、 m元长度为ki，i=1，2，??? n的异前置码存在的充要条件是：id 。 27、 若把掷骰子的结果作为一离散信源，则其信源熵为 log26 。 28、 同时掷两个正常的骰子，各面呈现的概率都为 1/6，则“ 3和5同时出现”这件事 的自信息量是log218 (1+2 log23 )。 29、若一维随即变量X的取值区间是 29、若一维随即变量 X的取值区间是［0，s ］，其概率密度函数为 p(x) = 1 e m ，其 中: x_0，m是X的数学期望，则X的信源熵Hc(X^ log2 me。 30、 一副充分洗乱的扑克牌(52张)，从中任意抽取1张，然后放回，若把这一过程 看作离散无记忆信源，则其信源熵为log2 52 。 31、 根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。 32、 信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信 道。 33、 具有 对应关系的无噪信道的信道容量 C= log2 n 。 34、 强对称信道的信道容量C= log2 n-H ni 。 35、 对称信道的信道容量C= Iog2m-Hmi。 36、 对于离散无记忆信道和信源的 N次扩展，其信道容量CN= NC。 Z Ck 37、 对于N个对立并联信道，其信道容量 CN = 心 。 38、 多用户信道的信道容量用 多维空间的一个区域的界限 来表示。 39、 多用户信道可以分成几种最基本的类型： 多址接入信道、广播信道 和相关信源 信道。 40、 广播信道是只有 一个输入端和多个输出端 的信道。 41、 当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道。 1 P