第二章 信息论初步.pptx

第二章 信息论初步;第二章的内容涉及到信源编码和信道容量 ;目 录;2.1 信息的度量;2.1 信息的度量;2.1.1 信息的统计特性;概率场：; 上述两类信源又均可分为;2.1.2 离散信源的信息量;?;举例：;?;④对数底和信息量有关。 底 单位 2 bit (比特) e nit (奈特)or nat 10 哈脱莱（此人提出了自信息量公式）or Det笛特;2.联合信息量;?;3.互信息量（可正可负可为0）;举例：二进制对称信道（BSC）;分析：①若 互信息量可正可负。（自信息为正） ;?;?;?;2.联合熵（二个信源的熵）;按照熵的定义，二个联合信源的熵为：;3.条件熵：;联合熵：;离散信源各符号独立且等概时熵最大。;6.平均互信息量：互信息量的统计平均值。（非负）;1.熵;对离散??源：;2.连续信源的最大熵;2.连续信源的最大熵;3.几个公式;;1.信道;举例：;无记忆信道 有记忆信道;2.信道容量;1.对称信道：信道的转移概率矩阵的每一行是同一集合元素的不同排列，每一列是（另一个）同一集合元素的不同排列。;2.信道容量;2.信道容量;2.信道容量;2.信道容量;2.信道容量;2.2.3 有扰连续信道的信道容量;2.2.3 有扰连续信道的信道容量;2.2.3 有扰连续信道的信道容量;香农公式：;香农定理： 信道容量为C，信源的信息速率为R，如果R?C，则存在一种信道编码方法实现无误传输。