信息论与编码-西南民族大学.pptVIP

*信息论与编码教师：向强手机：西南民族大学电信学院SWUN主要参考文献*《信息理论与编码》姜丹、钱玉美编著中国科技大学出版社1992版01《信息论—基础理论与应用》傅祖芸编著电子工业出版社2001年版02《信息论与编码方法》西南交通大学勒蕃教授著03《信息论与编码》陈运、周亮、陈新编著电子工业出版社04需具备的相关数学知识：*概率与统计理论01矩阵理论02需了解的相关通信方面知识：03通信原理04第一章引言*STEP5STEP4STEP3STEP2STEP1第一节信息的一般含义信息的重要性：当代文明的“三大支柱”信息科学、材料科学、能源科学信息的认识1928年美国数学家哈特莱（Hartley）在《贝尔系统电话杂志》发表题为“信息传输”的论文，认为“信息是选择的自由度”。1948年，美国数学家香农（C.E.Shannon）在《贝尔系统电话杂志》发表题为“通信的数学理论”的长篇论文，认为“信息就是一种消息”。美国数学家、控制论的主要奠基人维纳(Winner)在1950年出版的《控制论与社会》一书中认为“信息是人与外界相互作用的过程中所交换的内容的名称》。以上对信息的认识都不够准确，具有局限性。信息的含义：“信息”是作为通信的消息来理解的0102图1.1通信的简化模型信道信宿信源2.信息是作为运算内容而明确起来的计算机某种过程输入信息输出信息补充信息图1.2计算机的运算或控制机理3.信息是作为人类感知的来源存在的信息论的建立作为人类活动中最为普遍的现象之一，人们希望信息的传递与交换能够又多、又快、又好、又经济，希望对信息进行定量分析。1924年奈奎斯特在着手进行影响电报传递速度时，就察觉到信息传输速度与频带宽度有关系。第二节信息论的基本思路11928年，哈特莱用概率的观点来分析信息传输问题，他指出，如果用D个不同符号构成字，每个字数包括N个符号时，共可以组成个不同的字，则信息的数量。21948年，仙农发表了一篇《通信的数学理论》，标志着信息论的正式诞生。第一次提出了信息量的定义，并在离散信道的信息传输容量的研究方面做出了卓越的贡献3维纳提出的统计理论、滤波理论成为信息论的一个重要分支。阐明通信系统传递的对象就是信息对信息给予科学的定量描述提出了信息熵的概念1948年C.E.Shannon香农（信息论奠基人）发表了题为“通信的数学理论”的论文。狭义信息论（香农信息论）运用通信技术与概率论、随机过程、数理统计的方法系统讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论：1.形式化假说“消息”与“信息”消息：以文字、语言、图象、图表等形式，对客观物质运动状态、人的思维状态的表述。形式、语义、语用通信的功能：表述精确信息—“通信的消息”—形式2.非决定论观点*通信的原因：①对方不知道②本人有疑问“不知道”、“有疑问”→知识上的“不确定性”通信对象的一般特性统计特性数学工具概率论与数理统计3.不确定性信息：数量上等于通信前后“不确定性”的消除量（减少量）。→用概率来度量*“不确定性”“不确定性”是概率的某一函数f(p(x))“狭义信息量”（I(x)“不确定性”的消除量）也一定可以用概率的某一形式表示：I(x)=f(p(x))→“多种结果的可能性”第三节信息论研究的对象、目的和内容1.通信系统的一般模型信源编码器信道译码器信源噪声源图1.3通信系统模型信号信号+干扰干扰由于互联网的建立和发展，对安全和保密的要求信道编码信源译码噪声源加密译码信宿信道信道译码图1.4信息传输系统模型加密编码信源信源编码实际上数字信息传输系统或存储系统的模型P3-图1—3及其各部分的作用和特点（P3—P5有各个部分的解释）（1）狭义信息论：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。（1）可靠性（2）有效性（3）保密性2.信息论的研究目的3.信息论的研究内容*香农信息论压缩理论有失真信源编码无失真信源编码率失真理论压缩编码等长编码定理变长编码定理最优码构成Huffman码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷