信息论理论基础_1.pptVIP

教材 信息论理论基础（第3版）— 贾世楼，哈尔滨工业大学出版社 参考书 信息理论与编码 — 姜丹，中国科技大学出版社 信息论基础理论与应用 — 傅祖芸，电子工业出版社 纠错码与差错控制 — 王新梅，人民邮电出版社 第1章 引言 韩宇辉 第1章 引言 1.1 通信系统的基本模型 1.2 信息论的研究范畴 1.1 通信系统的基本模型 1.1.1 通信基本模型 信源：信息的发出者 离散信源 连续信源 1.1.1 通信基本模型 信宿：信息的接收者 1.1.1 通信基本模型 变换：使信息适合在信道中传输 反变换：将变换后的信息还原 能量变换 模数变换和数模变换 编码与译码 提高传输的有效性和可靠性 调制与解调 频谱搬移 1.1.1 通信基本模型 信道：信息传输的通道 有线信道和无线信道 恒参信道和变参信道 离散信道和连续信道 1.1.2 对通信的基本要求 有效性：尽量用较少的资源传输较多的信息。 可靠性：由于受到干扰和噪声的影响所产生的畸变和错误越小越好。 模拟通信系统：SNR 数字通信系统：SER、BER 其它要求：适应性、经济性、实用性。 1.1.3 通信理论的研究方法 信源的状态是随机的，信息传输过程中受到的噪声和干扰也是随机的。 需要用概率论和随机过程等统计数学工具来描述和分析通信的问题。 1.2 信息论的研究范畴 1.2.1 信息论的研究内容 1.信息论研究的内容 (1) 通信的统计理论的研究 利用统计数学工具分析信息和信息传输的统计规律。 信息的度量 信息速率与熵 信道容量 (2) 信源的统计特性 文字、字母统计特性 语音的参数分析和统计特性 图片和活动图像的统计特性 其他信源的统计特性 (3) 收信者接收器官的研究 与生物学、生理学、心理学密切相关。 人的听觉和视觉器官的特性 人的大脑感受和记忆能力的模拟 (4) 编码理论与技术的研究 有效性编码（信源编码） 可靠性编码（信道编码） (5) 提高信息传输效率的研究 功率的节约 频带的压缩 传输时间的压缩 (6) 抗干扰理论与技术的研究 各种调制制度的抗干扰性 理想接收机的实现 (7) 噪声中信号检测理论与技术的研究 信号检测的最佳准则 信号最佳检测的实现 2.信息论的研究范畴 狭义信息论 也称为基本信息论，主要研究信息度量、信道容量、信源编码等。 一般信息论 主要研究一般的通信理论，包括信号与噪声理论、信号过滤与检测、调制制度、信道编码、信息处理等问题。 广义信息论 不仅包括上述两个方面，还包括与信息有关的其他领域，如生理学、生物学、遗传工程学等。 1.2.2 信息论的发展简史 1924年奈奎斯特发表了“影响电报速率因素的确定”，证明了通信系统的信息传输能力与带宽成正比。 1928年哈特莱发表了“信息传输”，给出了信息度量的方法。 1946年柯契尔尼科夫发表了“起伏噪声下的潜在抗干扰理论”，根据最小错误概率准则和最小均方误差准则研究信号的过滤问题。 1848年山农发表了“通信中的数学理论”；1949年他又发表了“噪声中通信”。这两篇文章给出了通信系统的模型，讨论了信源和信道的统计特性以及信道容量，并给出了信源编码定理和信道编码定理，奠定了现代信息论的基础。 1948年和1849年，维纳发表了两篇文章，根据最小均方误差准则研究了信号的过滤问题。 * *