（精）信息论主要内容.pptVIP

《信息理论与编码》提要 主讲：陈立旺 2011年6月 条件熵，互信息量的关系 I ( X;Y ) 表示从变量Y中所获得的关于变量X的信息量，是关于消息X 的不确定性的减少量 若X=Y； 则I ( X;Y ) = H( X)。从Y中获得了X的全部信息。 若X,Y相互独立； I ( X;Y ) =0。从Y中得不到X的信息。 H ( X |Y ) 表示变量Y已知的条件下变量X的平均信息量，是关于消息X 的不确定性的量。 若X=Y； H( X |Y ) =0。变量Y完全确定了变量X的样值。 若X,Y相互独立； H( X |Y ) = H( X)。 X的信息量与Y无关。 微分熵性质 可加性： HC(XY)= HC(X)+ HC(Y|X)= HC(Y)+ HC(X|Y) 幅值（峰值）受限时的最大微分熵： 随机变量服从均匀分布时获得最大微分熵 功率（方差）受限时的最大微分熵： 随机变量服从高斯分布时获得最大微分熵（P=μ2+σ2） (随机)信源的分类方法 从消息变量取值的连续性分： 离散信源和连续信源 从连续信源输出时间上的连续性分： 连续信源和波形信源 从离散信源的消息序列的长度来分： 单符号信源和序列（扩展）信源 从离散信源序列之间的有无相关性分： 无记忆信源(DMS)和有记忆信源 从离散有记忆信源序列的相关程度分： 平稳信源、M阶Markov信