第二章基本信息论1_信源不确定性.pptVIP

第2章 基本信息论 本章学习内容 信源不确定度和信息度量，离散信源的熵及其性质，加权熵 平均互信息量的定义、计算方法、物理意义和性质 二元联合信源的共熵、条件熵及两者之间的关系，平稳信源的信源熵和极限熵 马尔可夫信源的概念及其信源熵的计算 信源冗余度的定义 连续信源的相对熵，三种连续信源的最大熵，熵功率 信息速率和信道容量的概念，离散有噪信道的熵速率，可疑度的物理解释，连续有噪信道的信道容量 三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码 常用的信源编码：山农费诺编码、哈夫曼编码和L-D编码 本章作业 P113： 1-9，11，15，17，20，21 2.1 信源及信源的不确定性 实际有用的信源应具有不确定性 信源的不确定性：信宿对信源某时刻发送哪个消息不能确定。 [例1]某二元信源发送1的概率为0.99，而发送0的概率为0.01。 猜错率：1%，信源的不确定性很小。 [例2] 二元信源发1和发0的概率相等，均为0.5。 猜错率：50%，信源发什么消息相当不确定。 [例3]如果信源具有更多的消息，例如发10个阿拉伯数字0，1…9，而且假定这10个消息是等概率分布的，均为十分之一。 猜错率更大，信源发什么消息更不确定了。 [例4]若信源只发送一种消息，即永远只发送1或者永远只发送0。 猜错率：0，信源