信息论与编码-第1章.ppt

信息论中的概率论基础 信息论中的概率论基础 信息论中的概率论基础 练习题 包装好的玻璃器皿第一次落地摔碎的概率为0.4，若未碎第二次落地摔碎的概率为0.6，若仍未碎第三次落地摔碎的概率为0.9，求落地3次打破的概率。 对以往数据分析的结果表明，当机器调整的良好时，产品的合格率为90%，而当机器发生某一故障时，其合格率为30%，每天早晨机器开动时，机器调整良好的概率为75%，试求某日早上第一件产品是合格品时，机器调整的良好的概率是多少？ 甲乙两人进行打靶，甲击中靶心的概率为0.6，击中靶子边缘的概率为0.3，脱靶的概率为0.1，乙击中靶心的概率为0.5，击中靶子边缘的概率为0.4，脱靶的概率为0.1，试评定甲乙二人的成绩好坏。 信息论与编码Information Theory and Coding 哈尔滨理工大学 电子信息工程专业 杨广学 2010年7月 课程简介 培养方案：与电路、电子技术、信号与系统、数字信号处理、通信原理与系统以及单片机原理及应用等课程同属于必修的学科基础课 本课程特点：本身理论性很强；涉及线性代数、概率论与随机过程、抽象代数（近世代数）等数学理论 学习方法：课堂-多媒体教学，课后-多看书、写阅读笔记、多做练习 考核的方式及成绩的评定 ：平时成绩30%（作业30%、实验成绩30%、上课出勤40% ）、期末成绩70% 教材：曹雪虹 张宗橙编《信息论与编码（第2版）》，清华大学出版社，2009年版 教学参考书 1、唐朝京、雷菁编著《信息论与编码基础》电子工业出版社2010年版 2、余成波主编《信息论与编码》重庆大学出版社2002年版 3、Ranjan Bose “Information Theory, Coding and Cryptography”机械工业出版社2003年影印版 第1章 绪论 1.1 信息论的形成与发展 1.2 通信系统的模型 有关“信息”的一些基本概念（1） 信息时代（Information Age）——德国社会学家R.布吉顿斯坦对信息时代的定义是：“人们花费在个人交往和信息交流的时间大大超出了消耗在工业产品生产上的时间” 信息技术（Information Technology，IT）——凡是能够用来扩展人的信息功能的技术都是信息技术；有关数据与信息的应用技术。其内容包括：数据与信息的采集、表示、处理、安全、传输、交换、显现、管理、组织、存储、检索等 有关“信息”的一些基本概念（2） 信息科学（Information Science）——对获取信息并对其进行传输、交换、处理、检测、识别、存储、显示等操作的科学研究 信息论（理论）（Information Theory）——是应用近代概率统计方法来研究信息传输、交换、存储和处理的一门学科。是源于通信实践发展起来的一门应用学科 有关“信息”的一些基本概念（3） 信息（INFORMATION)——信息一词来源于人们的通信实践活动，在日常生活中，信息是指“消息”、“情况”、“知识”、“情报”等等 信息是一个十分抽象而又复杂的概念。至今为止，尚无一个能被普遍认可的定义。因为“信息”是一个非常高层次的概念 目前比较被人们认同的定义：认识主体（人，生物和机器）所感知的或所描述的相应事务的运动状态及其变化方式 有关“信息”的一些基本概念（4） 1928年，美国数学家Hartley在BSTJ上发表论文“信息传输”，文中把信息理解为选择通信符号的方式，并用选择的自由度来计量信息的大小 1948年，美国数学家Shanoon在BSTJ上发表论文 “A Mathematical Theory of Communication”，深刻阐述了通信工程中一系列基本理论问题，但没有给出信息的确切定义 1950年，美国数学家、控制论的主要奠基人Winner在出版的《控制论与社会》中认为：信息是人与外界相互作用的过程中所的内容的名称。这一定义未得到人们的认可。后来Winner自己认识到：“信息既不是物质又不是能量，信息就是信息” 有关“信息”的一些基本概念（5） 信息的特征 信息来源于物质，但又不是物质本身，它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在 信息来源于精神世界，但又不限于精神领域 信息与能量息息相关，但又与能量有本质的区别 信息具有知识的本质，但比知识的内涵更广泛 信息是具体的，并且可以被信息主体所感知、提取、识别，可以被传递、存储、变换、处理、显示、检索和利用 信息可以被众多主体所共享 信息可以产生，也可以消失 信息是可以度量的，信息量有多少的差别 1.1 信息论的形成与发展 信息论的发展过程 1924年，H. Nyquist， 信息率与带宽联系 1928年，R.V.