信源的含义与表示法。.pptVIP

信 息 与 编 码Theory of Information and Coding 徐州工程学院 燕善俊 概述 组成客观世界的三大基本要素： 物质 能量 信息 没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。 ——美国学者欧廷格 《信息与编码》是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、加密学、数据压缩等问题的应用数学学科，也是通信与信息系统学科的一门专业基础课程。 第一章 绪论 主要学习内容 一、科学家Shannon介绍及“信息论” 的产生； 二、信息论的研究对象、目的和内容； 三、 “信息”的含义与度量方法； 四、信源的含义与表示法。 一、科学家Shannon以及“信息论” 的产生； 科学家Shannon 1916年4月30日出生在美国密西根州的加洛德； 1936年毕业于密西根大学， 获数学和电子工程学士学位； 1940年获得麻省理工学院数学博士学位和电子工程硕士学位。 从1941年起，他加入了贝尔实验室数学部，与当时贝尔实验室的许多著名科学家们一起工作了十五年，他们当中有现代数字信号处理理论及实践的创始人和先驱者。 1956年之后，香农博士被聘为著名的麻省理工学院的客座教授，并于1958年成为终生教授，但他一直与贝尔实验室保持着密切联系。 两篇奠基性著作 1948年6月到10月，由贝尔实验室出版的科技界著名杂志《贝尔系统技术》连载了香农博士的文章-----《通讯的数学原理》（A Mathematical Theory of Communication)； 1949年香农又在该杂志上发表了另一篇影响深远的论文《噪声下的通讯》； 在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，解决了通信中的信道容量、信源统计特性、信源编码、信道编码等一系列基本问题。 一句名言 “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 这是数学家Shanon在他的惊世之著《通信的数学理论》中的一句名言。正是沿着这一思，他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 保密通信 Shannon博士也是一位著名的密码破译者，他所在的贝尔实验室破译团队，主要是追踪德国的飞机和战舰，尤其在德国对英国进行闪电战时曾起了很大作用。1949年Shannon发表了另外一篇重要论文《保密系统的通信理论》（Communication Theory of Secrecy Systems) ，至此，保密通信由艺术变成科学。 2001年2月24日，在步入新世纪仅仅2个月之后，当代最伟大的数学家和贝尔实验室最杰出的科学家之一，香农博士在与疾病顽强搏斗了5年之后不幸与世长辞，享年84岁。 贝尔实验室为香农博士塑造了塑像，他的塑像与电话的发明人贝尔的塑像一起耸立在贝尔实验室大厅入口处供人瞻仰。 二、信息论的研究对象、目的、内容 研究对象： 广义的通信系统 信源 信源：产生消息和消息序列的源 表示法：信源输出的消息是随机的、不确定的，但又有一定的规律性，因此用随机变量或随机矢量等数学模型来表示信源。 编码器 编码就是把消息变成适合在信道中传输的物理量，即信号。 信号携带着消息，它是消息的载体。 信源编码器：作用是压缩信源的冗余度。 信道编码器：作用是提高信息传输的可靠性。 信道 信道：指的是通信系统把载荷消息的信号从发送端送到接受端的媒介和通道，包括首发设备的物理设施。 例如：两个人在网上聊天，连接这两台电脑的之间的网线、路由器等都是信道。 译码器 译码就是把信道输出的已叠加了干扰的编码信号进行反变换，变成信宿能够理解的消息。 译码器：信道译码器 、信源译码器 信宿 信宿指的是传送对象，即接受消息的人、机器或其他事物。 研究目的 提高通信的可靠性与有效性 即：如何将消息既准确又快速的传递给对方 研究内容 1、什么是信息？如何度量信息？ 2、怎样确定信源的输出中含有多少信息量？（信源熵） 3、对于一个信道，它传输信息量的最高极限是多少？ （信道容量） 4、为了能够无失真地传输信源信息，对信源编码时所需要的最少的码符号数是多少？（这是无失真信源编码，即香农第一编码定理的内容） 5、在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？（这是有噪信道编码，即香农第二定理的内容） 6、如果对信源编码时允许一定量的失真，所需要的最少的码符号数又是多少？（这是限失真信源编码，即香农第三定理的内容） 三、 “信息”的含义与度量方法 信息：它是对事物运动状态或存在方式的不