信息论与编码理论基础第三章.ppt

通信系统模型 信源发出的消息序列通常不能直接送给信道传输，需要经过信源编码和信道编码。 信道编码 在传输过程中噪声和干扰在所难免，为了降低差错率，提高传送的可靠性，在信道编码器中可以引入冗余度，在信道解码端就可以利用此冗余度来尽可能地重建输入序列。 可靠性：增加冗余 信源编码 对信源进行压缩、扰乱和加密，用最少的码字最安全地传输最大的信息量： 有效性和安全性：去除冗余 如何对信源进行建模？（如随机过程） 如何测量信源的内容？（熵） 如何表示一个信源？（编码：码字设计） 为什么需要信源编码/数据压缩 数字化视频和音频等媒体信息的数据量很大 为什么需要信源编码/数据压缩 减少存储空间 文件压缩、图像压缩、语音压缩、视频压缩… 减少传输时间 信源编码/数据压缩的例子： 摩尔斯式电码 19世纪中叶，由 Samuel Morse发明 每个字符用“ .” 或“–” 表示 观察：一些字符比另外一些字符出现的频率更高，如 “a, e”比“z, q”出现的频率高 因此，为了减少发送信息的平均时间，用较短的序列表示出现频率高的字符，较长的序列表示出现频率低的字符 e: . , a: . – q: - - . - , j: . - - - 为什么可以进行信源编码/数据压缩 自然界中的大多数数据都是冗余的： 任何