信息论基础重点分析.doc

信息论基础 第一讲 信息的基本概念与预备知识 一、信息的基本概念 1、信息论是通信的数学理论，是运用数理统计的方法研究信息的传输、存储与处理的科学。 2、物质、能量、信息是构成客观世界的三大要素，信息存在于任何事物中，有物质的地方就有信息。 3、信息具有的性质 （1）无形————不具实体性； （2）共享————交流者不会失去原有信息，还可获得新的信息，可无限传播，也可限制传播，如设密码、安全措施 ； （3）信息是一种资源————永远在产生、更新、演变，取之不尽用之不竭； （4）可度量————信息的数量和质量可度量。 3、概率信息（香农信息或狭义信息）美国数学家香农（C.E.Shannan）提出，信息源具有随机性不定度，为了消除一定的不定度必须获得与此不定度相等的信息量。 （1）甲袋有100个球，50个红，50个人白，取出一个为红； （2）乙袋有100个球，25个红，25个白，25个蓝，25个黑，取出一个为红； 概率大，不确定性小，信息量小，。 4、消息 构成消息的条件：能被通信双方理解，可在通信中进行传递和交换。消息具有不同的形式，如语言、文字、符号、数据、图片等。消息是信息的载荷者，同一消息可以含不同的信息量，同一信息可以用不同形式的消息来载荷。 5、信号 信号是消息的表现形式，消息是信号的具体内容。信号是消息的载体。 6、信息的传输系统 信源——编码——信道——译码器——信宿