信息论--信息理论与应用1.pptVIP

信源 Information source 离散信源和连续信源 无记忆信源和有记忆信源 核心问题：信源的消息中所包含的信息量以及信息如何度量。 编码器 编码其的功能把消息变成适合信道传输的信号： 信源编码器 （source encoder）：将信源消息变成符号，目的提高传输的有效性。最常见的电报系统的莫尔斯电码，原则常见消息用短的码字表示。 信道编码器（channel encoder）：给信源编码符号增加冗余符号，提高传输的可靠性。 调制器（modulator）：将编码器输出符号变成适合信道传输的信号，提高传输的效率，比如声音不变成电信号传输的距离很近。 信道 狭义信道 具体的物理信道，与介质相关 广义信道 一种逻辑关系或者通道 无噪声信道和有噪信道 AWGN信道 ：加性高斯白噪声信道 译码器 功能是从信号中恢复消息，包括 解调器 信道译码器 信源译码器 是编码的逆变换 研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 通信的基本问题 在一点精确地或近似地恢复另一点所选择的消息。 通信系统的三项基本性能指标： 传输的有效性 最短的码字，单位的时间传输更多。 传输的可靠性：减少差错，降低错误率 传输的安全性：不被未授权的一方获取 数字通信的三项基本技术 数据压缩 数据纠错 数据加密 前两项：1948 香农的论文建立理论基础 第三项1945年：密码学的数学理论中