第二章 信源熵练习题.pdfVIP

第一章 绪论练习题 一、 填空题 1. 信息是事物运动状态或存在方式的所有可能取值的描述，不确定性可以用 概率来表达，因而可以用概率论与随机过程来描述信源输出的消息。单符 号信源用概率空间来描述，即信源符号的所有可能取值及其对应的概率。 信源的某一种取值概率大，则其不确定性 （度） 小 ；相反，某一种取 值概率小，则其不确定性 （度） 大 。 2. 信源发出消息，传输信息的过程是：发出消息之前，信源即将发出什么消 息存在不确定性 （度），不确定性 （度）的大小由消息的概率决定；发出某 个具体消息后，就消除了对应大小的不确定性（度）。在这一过程中，从未 知到已知，传递了信息，信息的大小就是消除的不确定性（度）的大小。 3. 一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息， 其定义为事件发生概率对数的负值，即 I x log p x ，自信息量     i 2 i 的单位与所用的对数的底有关 。这就是香农信息的度量规则。联合自信息 是联合事件发生时所带来的信息量；条件自信息量是带有条件是事件发生 时所带来的信息量。 4. 离散单符号信源熵是信源中各个消息符号 （随机变量各个取值）不确定度 （或者自信息量）的数学期望，代表了信息源的平均不确定度，记作H(X)， q 用数学式子表达为H X E I x   p x log p x  。           i  i  i  i 1 5. 离散信源熵有最大值，其取得最大值的条件是离散信源各个消息符号为等 概率分布；离散信源熵一定有最大值的原因是熵函数是严格上。例如，包 含n 个不同离散消息的信源X 的熵H X log n （选填、≥、≤   2 或者=），当满足X 中各个消息出现的率全相等（或者表达出等概率的意思 的文字）条件时，上式取得等号。 6. 联合熵是联合离散符号集合XY 上，联合消息x y 的联合自信息量的数学 i j 期望（或者概率统计/加权平均），在数学上表达为 n m n m H XY  p (x y )I (x y ) p (x y )log p (x y ) 。 i j i j i j i j i 1 j 1 i 1 j 1 7. 条件熵是联合离散符号集合XY 上，条件自信息量的的数学期望（或者概 率统计/加权平均），在数学上表达为 n m n m H X Y  p (x y )I (x y ) p (x y )log p (x y ) i j i j i j