信息论与编码(第三版)概论.ppt

信息论与编码计算器简介是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理中一般规律的学科。奠基人：美国数学家香农（C.E.Shannon）1948年“通信的数学理论”简介信息论的基本问题—信息的度量无失真信源编码定理—香农第一定理信道编码定理—香农第二定理信源编码、信道编码绪论第1章1.1信息的概念情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。知识：一种具有普遍和概括性质的高层次的信息，以实践为基础，通过抽象思维，对客观事物规律性的概括。消息：用文字、符号、语音、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。几个常见概念香农信息的度量（1）样本空间某事物各种可能出现的不同状态。（2）概率测度对每一个可能选择的消息指定一个概率。（3）概率空间先验概率p(xi)：选择符号xi作为消息的概率。样本空间概率测度例：气象预报甲乙“甲地晴”比“乙地晴”的不确定性小。某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件，那它的不确定性就接近于零。对xi的不确定性可表示为先验概率p(xi)的倒数的某一函数。（4）自信息（5）互信息先验的不确定性减去尚存的不确定性。后验概率p(ai|bj)：接收端收到消息bj后而发送端发的是ai的概率。信息的特征信息是物质存在的普遍属性，信