第1章节　概论幻灯片.ppt

*1.5 信息的再认识 2. 以差异和不确定性来定义的信息 信息是用以消除随机不确定度的东西； 信息是物质和能量在时间和空间中分布的不均匀性； 信息是事物之间的差异； 信息是集合的变异度； 信息是系统组织程度的度量； 信息是负熵； 信息是组织程度，能使物质系统有序性增强，减少破坏、混乱和噪声 信息是有序性的度量； 信息是收信者事先所不知道的东西 信息是能用来消除或减少信宿关于信源不确定的东西； …… *1.5 信息的再认识 1.5.3 信息的分类 可从许多角度进行分类。 按信息的性质分类： 语法信息、语义信息和语用信息。 按观察的过程分类： 实在信息、先验信息和实得信息。 按信息的地位分类： 客观信息和主观信息。 按信息的作用分类： 有用信息、无用信息和干扰信息。 按信息的逻辑意义分类： 真实信息、虚假信息和不定信息。 按信息的传输方向分类： 前馈信息和反馈信息。 按信息的生成领域分类： 宇宙信息、自然信息、社会信息、思维信息等。 *1.5 信息的再认识 按信息的应用部门分类： 工业信息、农业信息、军事信息、政治信息、科技信息、文化信息、经济信息、市场信息、管理信息等 按信息源的性质分类： 语声信息、图像信息、文字信息、数据信息、计算信息等。 按信息的载体性质分类： 电子信息、光学信息、生物信息等 按携带信息的信号的形式分类： 连续信息、离散信息等。 …… *1.5 信息的再认识 按照信息性质的分类最重要。 按照性质的信息可以划分： 语法信息、语义信息和语用信息三个基本类型。 语法信息是事物运动的状态和变化或存在方式的本身。 Shannon 信息的定义属于这个层次。 语义信息是事物运动的状态和变化或存在方式的具体含义。 语用信息是事物运动的状态和变化或存在方式及其含义对观察者的效用，或者是相对于某种目的的效用。 语法信息是迄今为止在理论上研究得最多、应用最广泛的类型。 C E Shannon简介 克劳德·艾尔伍德·香农 (Claude Elwood Shannon) ， 1916 年 4 月30 日出生于美国密歇根州，1936 年毕业于密歇根大学并获得数学和电子工程学士学位，1938 年和 1940年在麻省理工学院分别获得电气工程硕士学位和数学博士学位。1941 年他加入贝尔实验室数学部，并一直工作到 1972 年。在此期间，1956 年他成为麻省理工学院客座教授，并于 1958 年成为终生教授，1978 年退休。香农于 2001 年 2 月 24 日在美国马萨诸塞州去世。 科学家小传 香农的大部分时间是在贝尔实验室和麻省理工学院度过的。1948 年至 1949 年间，他先后发表了《通信的数学理论》和《噪声下的通信》，文章阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。这两篇论文被视为信息论奠基之作。香农也因此一鸣惊人，被誉为“信息论之父”。 C E Shannon简介 香农还在其硕士论文《继电器与开关电路的符号分析 》中，将布尔代数的“真”与“假”与电路系统的“开”与“关”对应起来，用 1 和 0 表示，使用布尔代数分析并优化开关电路，奠定了数字电路的理论基础。哈佛大学的 H. Gardner 教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。” 1949 年香农发表了另外一篇重要论文《保密系统的通信理论 》，使保密通信由艺术变成科学，开辟了用信息论研究密码学的新方向，奠定了近代密码学的理论基础。 C E Shannon简介 今天我们怀念香农，更要熟悉他的两项伟大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。著名的信息论和编码学者Dr. R Blahut 在香农塑像落成典礼上这样评价香农： “在我看来，两三百年之后，当人们回过头来看我们这个时代的时候，他们可能不会记得谁曾是美国的总统，他们也不会记得谁曾是影星或摇滚歌星。但是仍然会知晓 Shannon 的名字，学校里仍然会讲授信息论。” C E Shannon简介 同济大学 电子与信息工程学院 赵晓群 教授 博士导师 Zhao_xiaoqun@tongji.edu.cn 1.2 信息论研究的主要内容和意义 （5）信息传输效率的研究。 包括：① 功率的节约； ② 频带的压缩； ③ 传输时间的缩短，即快速传输问题。 （6）抗干扰理论与技术的研究。 包括：① 各种调制制度的抗干扰性； ② 理想接收机的实践。