信息论01学习课件.pptVIP

信息技术基础 参考教材：信息论-基础理论与应用 傅祖芸编著 电子工业出版社 2001年出版 《信息论与编码》 联系方式：娄朝刚 Tel:838 Email: lcg@seu.edu.cn 第一章 绪论 1.2 信息的定义 克劳德·艾尔伍德·香农（Claude Elwood Shannon） 美国数学家、信息论的创始人。 1916年4月30日出生于美国密歇根州的Petoskey，2001年2月26日去世，享年84岁。 1936年毕业于密歇根大学并获得数学和电子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。 香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6月和10月在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了他影像深远的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。他的工作被称为二十世纪的伟大创造(intellectual achievements)之一。 克劳德·艾尔伍德·香农（Claude Elwood Shannon） 第二章 离散信源及其信息测度 信源的数学模型及分类 信源的自信息* 信息熵及基本性质* 离散无记忆扩展信源 离散平稳信源 马尔科夫信源* 信源的剩余度与自然语言的熵 2.1信源的数学模型及分类 离散信源：信源输出的都是单个符号的消息，符号集的取值是有限的或可数的 且满足 X为样本空间 P(x)为每个符号出现的概率，称为先验概率 连续信源：信源输出的都是单个符号的消息，符号集的取值是连续的或取值是实数集R=(-?,?) 或 并满足 或 平稳信源与非平稳信源： 任意两个不同时刻随机矢量X的各维概率分布都相同（不相同） N维随机矢量：由N个符号组成的符号序列 N次扩展信源：信源输出的消息是按一定概率选取的由N个符号组成的序列，即输出的是随机矢量 有记忆信源与无记忆信源：发出的符号之间有（没有）相互依赖关系 几种信源分类之间的关系 2.2 信源的自信息 不确定性 I 是概率的函数 一次测量获得的信息量为 如果事件 发生的概率为 ,事件 发生所含有的信息量，就称为自信息量，表示为 自信息量的特点 1. 如果 ，则 2. 当 ，则 3. 当 ，则 4. 两个独立事件联合信息量等于他们分别的信息量之和 自信息量的计算公式 如果事件 发生的概率为 ,事件发生的自信息量为 例题 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”，答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？ 例题 设事件A为第一个事件 事件B为第二个事件 事件A的概率 事件B的概率 则从事件A中获得的信息量 则从事件B中获得的信息量 例题 2.3 信息熵 信息熵定义为信源的平均信息量 物理意义： 信源输出的每个消息的平均信息量 信源的平均不确定性 输出消息的随机性 例题 8个灯泡的例子 此信源的信息熵 （比特/符号） 例题 甲乙两地的天气预报为：晴（占4/8）、阴（占2/8）、大雨（占1/8）、小雨（占1/8）。某乙地的天气预报为：晴（占7/8）、小雨（占1/8）。求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、大雨、小雨出现的概率都相等，为1/4。求这两极端情况所提供的平均信息量。又求乙地出现这两极端情况所提供的平均信息量。