第一章信息论基础.ppt

* 1.5.2 信源编码 (1)目标——压缩信源码率 具体——减小平均码长(信源符号的平均比特数) (2)分类—— ① 经典压缩编码—无失真、限失真信源编码 ② 现代压缩编码 * 1.5.2 信源编码(续) (3) 经典信源编码的两种基本途径 ① 设法改变信源概率分布，使之尽可能不均匀 再用最佳编码方法使平均码长逼近信源熵 压缩上界——信息熵 [例]霍夫曼编码、算术编码、游程编码等 ② 去除、减少信源序列的相关性，使之成为不相关、低相关信源 [例] 预测编码、变换编码、混合编码、矢量量化等 * 1.5.2 信源编码(续) (4)现代压缩编码 经典压缩编码方法——依据了信源本身固有的统计特性，并利用了人类视觉系统的某些特性来进行压缩编码，但利用得还不够充分 现代压缩编码方法——突破了传统香农理论的框架，注重对感知特性的利用，使压缩率极大提高 [例]小波变换、神经网络、模型基编码、分形编码等 * 1.5.3 信道编码 (1)目标——是提高信息传输的可靠性 干扰、噪声——使通信质量下降 模拟信号——信噪比下降 数字信号——误码率增大 (2)方法——增大传输所需的信道资源(码率或带宽) 模拟信号——增大带宽，换取所需信噪比的减小 数字信号——增高码率（信息位后增设监督位） (3)理论基础——信道编码定理 [内容]当信息率R低于信道容量C时，误码可接近零 当信息率R高于信道容量C时，必有误码 * 1.5.4 保密编码 1949年，香农发表论文“保密通信的信息理论”，首次用信息论观点对信息保密问题作了全面论述 1976年，迪弗(Diffe)和海尔曼(Hellman)发表“密码学的新方向” ——一篇具有里程碑意义的文章，此后保密通信问题才得到广泛研究 1978年McEliece用纠错码构造第一个公钥密码体制 此后，有关密码学与纠错码相结合的研究得到了迅速发展，从而把两门原本无关的学科结合在一起 二码合一、三码合一——当前关注的课题 本 章 小 结 本章是信息论的基本概念，介绍的主要内容有： (1)信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 (2)信息传输系统由信源、信源及信道编码器、信道、信源及信道译码器、信宿组成。 信源和信宿用来产生和接收消息。信源编码器将信源的剩余度剔除，信道编码器增加冗余的纠错、检错码元。信道是消息传输的通道。 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * 一般信息论 香农 信息论 噪声理论 调制 理论 信号滤波预测理论 统计检测估计理论 一般信息论 2 虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题。但他们之间有一个重要的区别。 维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来，并建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。 发送 接收 香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。为此，发展了信息测度理论、信道容量理论和编码理论等等。 发送 接收 按照信息的性质 1 语法 语义 语用 按照观察的过程 实在 先验 实得 2 1.2 信息的分类 客观 主观 按照信息的地位 3 按照信息的作用 有用 无用 干扰 4 真实 虚假 不定 按照信息的逻辑意义 5 按照信息的传递方向 前馈 反馈 6 宇宙 自然 社会 思维 按照信息的生成领域 7 工业 农业 军事 政治 科技 文化 经济 市场 管理 按照信息的应用部门 8 语声 图象 文字 数据 计算 按照信息的来源 9 电磁 语声 图象 文字 光学 生物 按照信息载体的性质 10 连续 离散 半连续 按照携带信息的信号的性质 11 在众多的分类原则和方法中，最重要的就是按照信息性质的分类。 按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最