现代信息论应用与发展!.pdfVIP

论 文 选 粹 2017 年第5 期 现代信息论应用与发展 徐金暐 (上海市科学技术协会学会服务中心 上海市 200020 ) 摘 要 香农在信息论起到了奠基的作用，被称为现代通讯之父。 文章摘取香农的三个 极限定理，即无失真信源编码 信道编码定理以及限失真信源编码定理，挖掘香农信息论 与其现实意义，介绍Turbo code 的发明 LDPC （低密度奇偶校验码） 的埋没于发光以及 Polar 编码的优劣性与适用范围，指出中国各大企业，从高通 华为 爱立信 大唐电信对不 同网络信息编码的选择，探究现代信息论在各个领域的应用与发 。 关键词 香农； 信息论； 网络编码； 极限定理 的观点主要是信息的主观因素 0 引言 1.2 狭义信息论 信息时代社会的发展离不开物质(材料)、能量 狭义信息论的研究包括了噪声理论研究、 信息 (能源)和信息资源 美国学者欧言格说：“没有物质 的信号滤波频率、统计检查、调试方法、信号的设计 什么都不存在，没有能量什么都不发生，没有信息什 与处理等 从范围来讲，狭义信息论是对广义信息论 么都没意义 。”信息正在逐渐影 着人民的生产、生 中的客观问题的精华提取 活 科技是第一生产力，而信息论的应用与发展正是 2 香农之三个极限定理 科技先驱力量中的一支 本文探究现代信息论在各 个领域的应用与发展 在纪念香农这位现代通信之 2.1 无失真信源编码 父的同时，以期为信息论的发展探明方向 信源编码可看成从信源符号集到码符号集的一 种映射 信源编码包括两个功能：a)将信源符号变换 1 信息论的概念 成适合信道传输的符号 b )压缩信源冗余度，提高传 信息理论是一门综合性应用数学学科研究，它 输效率 等长码的香农无失真信源编码定理告诉 包含了研究、通信、信息熵、数据压缩与传输、加密解 们：要实现逼近0 的无失真编码，最简单的方法就是 密技术等，研究方法被用于多种学科，其中包含了概 字码传输的信息量大于信源序列所带的信息量 但 率论和数学统计学等 传递定理和信源通道隔离定 是这在现实中是很难真正实现的 无失真信源编码 理这两个定理与信息理论中的两个主要领域有关： 定理阐述了编码效率接近 1 的编码器的理论存在 信息传输和信息压缩 信息论被广泛应用在各个领 性 它使输出符号的信息率与信源熵之比接近于1， 域：编码学、密码与密码分析学、数据传输、数据压 但在实际中，信源符号序列的L 非常大并且进行统 缩、估计理论和编辑词条等 一编码是很难实现的 但是无失真信源编码的提出， 1.1 广义信息论 为信源编码提供了很好的参考价值 目前应用的信 广义信息论研究领域宽泛， 涉及的领域如心理 源编码都采用无失真信源编码定理推论出的最低失 学、遗传学、神经学、心理学等，也是基于这样的广泛 真编码 范围， 部分学者提出对于信息论的定义应该从应用 2.2 信道编码定理 性与时效性、语法与意思表达等方面共同出发，强调 信源编码旨在解决编码的有效性问题， 而信道 万方数据 2017 年第5 期 论 文 选 粹 编码旨在解决可靠性问题， 当然二者都是在对方做