信息论基础理论与应用1绪论.ppt

信息论与编码论基础 湘潭大学信息工程学院 教师：蒋近 Email: jiangjin007@163.com 绪论 信息论的发展简史与现状 信息、消息及信号的概念 信息论的研究对象、目的和内容 各章节安排 关于本课程的说明 主要参考书目 信息论的发展简史与现状（1）————工程技术基础 1820-1830 M.Faraday 电磁感应 ——F.B.Morse电报（1835）及A.G.Bell电话（1876） 1864 Maxwell 预言1888 H.Hertz 证实电磁波的存在 ——G.Marconi和波波夫无线电系统（1895） 1907 L.Forest 发明了电子管 ——远距离无线电通信系统（1927） 上世纪60年代激光技术 ——光纤通信技术 信息论的发展简史与现状（2）————理论基础 1832年F.B.Morse电报系统中高效率编码 1885年L.Kelvin电缆的极限传信率 1922年J.R.Carson调幅频谱结构研究 1924年H.Nayquist和曲夫穆勒分别证明了信号传输速率与信道带宽成正比的规律 1928年R.V.Hartley提出把消息考虑为代码或单语序列 1936年E.H.Armstrong信号带宽抑制噪声 1939年H.Dudley发明了声码器 1948年N.Wiener提出了有关信息的统计理论 信息论的发展简史与现状(3) 研究动向（信息概念的深化） 网络信息理论和多重相关信源的发展和应用 快速通信 磁记录信道的研究 数据压缩及图像处理 调制解调码中的应用 工程前景 光通信、空间通信、计算机网、语音和图像的信息处理、量子领域、生物技术 信息、消息及信号的概念(1) 信息、消息及信号的概念(2) 消息（Message):消息是表示信息的媒体，象语言、文字、图像、符号、声音等。同一条信息可以用不同的消息来表示，信息是包含消息的不确定性，即有效(有用)的东西， 消息的本质和价值取决于它所包含的信息量，即对接受者的不确定性 消息可分为：连续消息和离散消息两大类。离散消息的取值是离散的、可数的，例如文字、符号都是离散消息。连续消息的取值是连续的、不可数的，例如语音、活动图像等都是连续消息。 信息、消息及信号的概念(3) 信号(Signal): 信号通常是由消息变换而来，它是与消息对应的某种物理量，通常是时间的函数，例如是随时间变化的电压(电流)，通信系统中传递的是信号 信息论的研究对象、目的和内容(1) 信息科学是研究信息的产生、获取、度量、传输、处理、识别及其应用的一门新兴学科。它是人们在长期通信实践发展中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科 重要性： “信息、新材料、新能源是现代科学的三大支柱” “信息、物质、能量是构成一切系统的三大要素” 信息论的研究对象、目的和内容(2) 信息论的研究对象：各种通信系统的信息传输和处理的共同规律 信息论的研究对象、目的和内容(3) 这个模型有以下五个部分组成： 信息源：产生消息和消息序列的源 编码器：把消息变换成信号的措施，输出适合信道传输的信号（消息→信号） 信道：指通信系统把载荷消息的信号从甲地传输到乙地的媒介 译码器：译码就是把信道输出的编码信号进行反变换 （信号→消息） 信宿：消息传送的对象，即接受消息的人或机器 信息论的研究对象、目的和内容(4) 通信系统的基本矛盾 通信系统的有效性和可靠性通常是一对矛盾。也就是说有效性很高的通信系统通常伴随着可靠性不足的缺点；或者保持很高的可靠性，但导致有效性的的降低。可靠性是矛盾的主要方面,即发送消息在接受端的准确还原。 形成矛盾的主要原因：信道不理想 ——带宽、时间受限 ——噪声和干扰 设计通信系统的基本出发点 在一定代价下使系统最优化，这对矛盾的相对统一也是通信技术发展的基本动力 通信系统的基本矛盾 解决途径： 1、对信源进行数据压缩————产生失真 2、提高信息传输速率————传输错误增加 信息论的回答： 1、达到不失真信源编码的极限（最低）编码速率是多少？ 2、只要信息传输速率小于信道容量，传输的错误概率可以任意地小。 信息论的研究对象、目的和内容(5) 信息论的研究对象、目的和内容(5) 信息论的研究目的 通过对通信系统的研究，找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使信息传输系统最优化 可靠性高：使信源发出的消息经信道传输后，尽可能准确、不失真地再现在接收端 有效性高：用尽可能短的时间和尽可能少的设备来传输