第二章信息论初步.pptVIP

第二章 信息论初步 2.1????信息的度量 消息：以具体信号形式表现出来，出现是随机的、无法预知 信息：抽象的、本质的内容 通信系统的任务是传递信息，每一消息中必须是包含接收者所需要知道的信息。 为了衡量通信系统的传输能力，需对被传输的信息进行定量的测度。 2.1.1??? 消息的统计特性 消息 连续消息 连续信源 离散消息 离散信源 1、?离散信源 只能产生有限种符号 离散消息可看成有限个状态的随机序列 离散型随机过程的统计特性来描述。 概率场：离散信源 1、?离散信源 只能产生有限种符号 离散消息可看成有限个状态的随机序列 离散型随机过程的统计特性来描述。 概率场：离散信源 不独立，相互关联 条件概率 先前出现过的符号有关。 马尔可夫链问题：只考虑前一个符号对后一个符号的影响，转移概率矩阵 2、连续信源 可能产生的消息数目是无限的，消息取值也是无限的 概率密度函数 2.1.2???? 离散信源的信息量 （1）消息出现的可能性越小，则此消息携带的信息就越多 （2）消息的长度增加时，其信息量也增加 （3）可能性 概率 直观经验 数学抽象 （1）I=I[P(x)] （2）P(x)越小，I愈大，且P(x)=1，I=0 （3）I[P(x1)P(x2)……]=I[P(x1)]+I[P(x2)]+…… 对于离散