1、离散信源-Read.ppt

第二章 信息论初步 2.1????信息的度量 消息：以具体信号形式表现出来，出现是随机的、无法预知 信息：抽象的、本质的内容 通信系统的任务是传递信息，每一消息中必须是包含接收者所需要知道的信息。 为了衡量通信系统的传输能力，需对被传输的信息进行定量的测度。 2.1.1??? 消息的统计特性 消息 连续消息 连续信源 离散消息 离散信源 1、?离散信源 只能产生有限种符号 离散消息可看成有限个状态的随机序列 离散型随机过程的统计特性来描述。 概率场：离散信源 1、?离散信源 只能产生有限种符号 离散消息可看成有限个状态的随机序列 离散型随机过程的统计特性来描述。 概率场：离散信源 不独立，相互关联 条件概率 先前出现过的符号有关。 马尔可夫链问题：只考虑前一个符号对后一个符号的影响，转移概率矩阵 2、连续信源 可能产生的消息数目是无限的，消息取值也是无限的 概率密度函数 2.1.2???? 离散信源的信息量 （1）消息出现的可能性越小，则此消息携带的信息就越多 （2）消息的长度增加时，其信息量也增加 （3）可能性 概率 直观经验 数学抽象 （1）I=I[P(x)] （2）P(x)越小，I愈大，且P(x)=1，I=0 （3）I[P(x1)P(x2)……]=I[P(x1)]+I[P(x2)]+…… 对于离散消息源, 可看作符号集合，由一串符号构成的，整个消息源的信息量 ni——第i个符号出现的次数； P(xi)——第i个符号出现的概率； N——离散消息源的符号数目。 当存在两个离散信源X和Y时，这两个信源的联合信息量 数字通信系统 发送——X；接收——Y P(xi)已知——先验概率； P(xi/yj)——后验概率 互信息量I (xi/yj) 反映两个随机事件之间的统计关联程度，在通信系统中其物理意义为接收端所能获取的关于X的信息 2.1.3?? 离散信源的平均信息量 当消息很长时，用符号出现的概率来计算消息的信息量较麻烦，引入平均信息量的概念。 平均信息量——每个符号所含信息量的统计平均值 平均信息量又称信源的熵。 消息中各符号的出现统计相关，用条件概率来描述。只考虑相邻两符号间的统计关联性，条件平均信息量（条件熵） ? 符号间统计独立时信源的熵高于统计相关时的熵，即符号间相互关联将使平均信息量减小。当离散信源中每个符号等概出现，而且各个符号的出现为统计独立时，该信源的平均信息量最大，此时最大熵 二元离散信源 减少或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号数值送最大的信息量。这正是数字通信中信源编码所要研究的问题 当存在两个离散信源X和Y时， 联合熵 条件熵 或 平均互信息量 （1）共熵与熵和条件熵之间的关系 （2）平均互信息量与熵和条件熵的关系 (3 ) 平均互信息量与熵和共熵的关系 2.1.4 连续信源的信息度量 抽样定理：若一个连续信号的频带限制在0~f Hz内，则它完全可用间隔为1/2f 秒的抽样序列无失真地表示。 连续消息看成是离散消息的极限情况，连续消息信号在每个抽样点的取值是一个连续的随机变量，其一元概率密度函数p(x) 随机变量的取值范围分成2N小段，N足够大，取值落在⊿Xi小段内的概率，可近似为 各抽样点统计独立时，每个抽样点所包含的平均信息量 连续消息的平均信息量 绝对熵 相对熵 公式一维可推广至n维，并与选取的坐标系有关。 连续信息源的最大熵条件取决于消息源输出取值所受的限制（峰值受限、均方值受限） 连续信息源的最大熵条件 峰值受限(A) （最佳分布） (最大熵） 均方值受限 （最佳分布） （最大熵） 概率密度函度 最佳分布 求得最大熵 信源编码要解决的问题 发送端连续信源X，接收到的连续信源为Y时，相对条件熵 平均互信息量 2.2 信道容量和香农公式 信道容量：单位时间内信道上所能传输的最大信息量。 ? 2.2.1 有扰离散信道的信息传输 离散信道：信道输入、输出符号都是离散符号。 无干扰：输入符号X 输出符号Y（确定关系） 有干扰：输入符号X…