信息论基础,有兴趣看看.docVIP

二、填空（每空1分）（100道） 1、 在认识论层次上研究信息的时候，必须同时考虑到 三个方面的因素。 2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。 5、 人们研究信息论的目的是为了 地交换和利用各种各样的信息。 6、 信息的 可度量性 是建立信息论的基础。 7、 8、 熵 是香农信息论最基本最重要的概念。 9、 事物的不确定度是用时间统计发生 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 ??18、离散平稳有记忆信源的极限熵，H??N。 m19、对于n元m阶马尔可夫信源，其状态空间共有个不