信息论和编码.pptVIP

信息论与编码The Theory of Information Coding 授课老师：林爱英 河南农业大学理学院 TelEmail: linay2000@ 1.1.1 信息 信息具有的特征： 接收者在接收到信息之前，不知道信息的内容，因此信息是新消息、新内容； 信息是能使认识主体对某一事物的未知性或不确定性减少的有用消息； 信息可以产生，也可以消失，同时信息可以被识别、被携带、被存储、被传递；而且信息可以加工也可以共享。 信息是可以度量的，信息量有多少的差别。 1.1.2 信息论及其研究内容 信息论的定义 信息论是在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究的科学。即：利用概率论、数理统计和随机过程的方法，对信息进行定量化表示，并以此为基础，研究数据的压缩极限，信道的传输极限等问题。 信息论解决的基本问题 数据压缩的最小极限-熵 信息传输的最大速率-信道容量 1.1.3 信息论发展简史 需要指出的是：应该把信息论与信息科学区分开来。 香农信息论主要研究信息的传递（通信）问题，他1948年发表的论文 “Mathematical Theory of Communication”更清楚地说明了这个问题，因此香农信息论更准确地说应该叫通信论。 实际上信息科学不但研究信息的传递问题，还研究信息的获取（感测）、信息的处理（认知）、信息的再生（决策）和信息的执行（控制）等问题。 在通信以外的其它领域、特别是认知和决策这些智能领域，香农理论不能普遍成立。 通信系统模型进一步细分 1.2.1 模型中各部分的作用 加密与解密： 加密编码将明文变成密文，提高系统的安全性； 加密编码通常不需要增大信道容量（比如在二进码信息流上叠加一密钥流）；但有些密码要求占用较大的信道容量； 教材中与加密解密相关的内容请自学。 * 1.2.2 通信系统性能指标 有效性：通信的数量指标。指占用尽可能少的信道资源（比如频率、时隙和功率等），传送尽可能多的信源信息，有效性用比特速率(bps)、符号速率表示； 可靠性：通信的质量指标。主要是指在传输中，抵抗各类客观自然干扰的能力，但是在军事通信中，它也包含电子对抗，即抵抗人为设置的干扰的能力，可靠性用信噪比(模拟信号)和误码率(数字信号)表示； 安全性：主要是指在传输中的安全保密性能，即收端防窃听、发端防伪造和篡改的能力。 * 1.2.2 通信系统性能指标 有效性和可靠性是通信系统的基本矛盾。 形成这种矛盾的根本原因是通信系统的信道不理想，带宽和时隙等信道资源有限，噪声和干扰普遍存在； 提高有效性必须去掉信源符号中的冗余部分（信源编码），充分利用信道资源（复用技术）； 提高传输的可靠性需要增加监督码元(信道编码)，增加接收端的检错和纠错能力；在无线通信系统中，可靠性的增加也可以通过复制数据副本，对数据进行多次不相关的发送实现(分集技术)。 考虑有效性和可靠性的联合编码方法是当前众所关心的课题。 值得注意的是：信息论分析的是存在性问题，即符合条件的编码是存在的，但并没有给出寻找编码的方法，这种方法将在本课程的后一部分即编码理论中给出。 * 1.2.3 信源与信道编码在工程中的应用 信源编码 文件传真编码：修正哈夫曼码的应用，是一种无失真信源编码技术； 语音压缩编码：EVRC、QCELP是限失真信源编码技术； 图像编码：静止图像压缩编码技术JPEG，可分为无失真编码和限失真编码；活动图像压缩编码技术MPEG * 1.2.3 信源与信道编码在工程中的应用 信道编码 Viterbi编译码 Turbo码 … * 课外阅读材料-香农与信息论 进入20世纪80年代以来，当人们在议论未来的时候，人们的注意力又异口同声地集中到信息领域。按照国际一种流行的说法，未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将从事信息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。 * 课外阅读材料-香农与信息论 信息论的奠基人—克劳德·艾尔伍德·香农(Claude Elwood Shannon)：1916.4.30-2001.2.26，美国数学家 ； 1916年4月30日出生于美国密歇根州的Petoskey； 1936年毕业于密歇根大学并获得数学和电子工程学士学位； 1940年获得麻省理工学院数学博士学位和电子工程硕士学位； 1941年他加入贝尔实验室数学部，工作到1972年； 1956年成为MIT客座教授，并于1958年成为终生教授，1978年成为名誉教授； 香农博士于2001年2月26日去世，享年84岁。 * 课外阅读材料-香农与信息