信息论-复习(傅祖芸版本)课题.ppt

信息论与编码 简 介 是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理中一般规律的学科。 简 介 绪 论 第1章 香农信息的度量 （1）样本空间 某事物各种可能出现的不同状态。 （2）概率测度 对每一个可能选择的消息指定一个概率。 （3）概率空间 先验概率p(xi)： 选择符号xi作为消息的概率。 例：气象预报 甲 乙 对xi的不确定性可表示为先验概率p(xi)的倒数的某一函数。 （4）自信息 （5）互信息 先验的不确定性减去尚存的不确定性。 后验概率p(ai | bj)：接收端收到消息bj后而发送端发的是ai的概率。 信息的特征 信息是物质存在的普遍属性，信息和能量、物质规定了事物的功能和性能； 接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；它使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息的存在具有普遍性、无限性、动态性、时效性和相对独立性； 信息可以产生，也可以消失，同时信息可以被传递、转换、扩散、复制、贮存、分割，具有可共享性； 信息是可以量度的，信息量有多少的差别。 研究对象：通信系统模型 信源、信道、信宿 信源：发送消息的源 离散信源 模拟信源 信源是信息论的主要研究对象之一.我们不探讨信源的内部结构和机理，而关注信源的输出