第讲绪论要点.pptVIP

信息论基础 葛建华 2014年4月1日 主讲教师简介 葛建华： 1982年毕业于西北电讯工程学院一系获信息论专业学士学位。 1989年毕业于西安电子科技大学获通信与电子系统学科博士学位。 现为西安电子科技大学通信工程学院教授、博士生指导教师,通院副院长,国家重点实验室副主任。 研究方向：移动通信(4G/5G),数字电视传输,空地数据链 包含：多天线传输理论与技术、高效调制解调技术（MIMO-OFDM,SC_FDE),高效编码调制技术，多节点协同传输理论与技术。 office:科技实验楼A605室 E-mail: jhge@xidian.edu.cn 电话：029课程大纲 课程内容： 第一章 绪论（2学时） 第二章 信息量和熵（10学时） 第三章 离散信源无失真编码（10学时） 第四章 信道容量（10学时） 第五章 离散信道编码定理（2学时） 第六章 线性分组码（6学时） 第九章 无记忆信源的有失真编码（6学时） 课程特点以及学习要求 信息论主要是应用概率论、数理统计以及随机过程等方法来研究信息传输、存储和处理，因而它对数学要求较高，公式推导较复杂，所以课堂上一定要认真听讲。另一方面，要求大家多做练习，深入理解基本概念以及基本定理。 关于考试形式，采用闭卷120分钟，最终课程成绩由2部分构成：试卷90％，平时10％。 其它事项 听课 按时、请假、课堂秩序 作业 按时、独立完成 答疑 课前、网络、集中 教材与参考书 教材： 王育民、李晖、梁传甲编著，信息论与编码理论，高等教育出版社，2005.12 参考书： 1．傅祖芸编，信息论—基础理论与应用， 电子工业出版社，2005.12 2．Thomas M.Cover，Elements of Infomation Theory. John Wiley Sons,INC.,2006.1 （信息论基础，机械工业出版社，2007.7） 信息论的基本概念shannon 信息论的中心问题信息论的研究内容信息论发展简史 第一讲 引论 什么是信息论 ? Shannon信息论的核心思想 考虑一对特殊的数学模型： 二进制对称信源和二进制对称信道 二进制对称信源： 输出符号0和1，等概分布，速率为单位时间内R个符号，称之比特bits ( binary digits)。 二进制对称信道（BSC）： 一个在单位时间内可以传输1比特数据的实体，但该信道并不是完全可靠，存在一个固定的概率p，满足0≤p≤1/2，使输出比特与输入比特不相同。 现在设想有二个人，一个是发送者，另一个是接收者。发送者必须使接收者尽可能精确再生信源的输出，而他们之间的唯一通信链路就是BSC。 注：在启动信源之前，容许发送者和接收者在一起了解彼 此将采用的数据处理策略，不对计算能力和存储资源限制。 问题:对于给定的一个信源速率R、发送者和接收者之 间通过BSC的通信可以达到多高的可靠度？ shannon信息论给出此问题的精确结论。 假设R=1/3,即信道传输速率是信源产生数据速率的3倍。 在传输之前，可以对信源输出的每一比特重复3次 （重复编码方法）。码字：000, 111 例如：信源输出10100，编码后111 000 111 000 000 对每一信源输出比特，接收者收到3比特，但这3比特可能不完全相同（为什么？）。 如信道干扰了传输的第2、5、6、12和13比特，接收者收到101，011，111，001，100。 译码最佳策略是什么？ 对接收到的3比特多数判决(最佳）? 101，011，111，001，100, 译码结果：11100。 一般地，用pb表示误比特率: 回到问题: 对于给定的一个信源速率R、发送者和接收者之间通过BSC的通信可以达到多高的可靠度？ 给定信道，如存在一种编码，码速率R≤x，误码率Pe≤y，则称点（x，y）是可达的。 特别地，Pe任意小，可达码速率R的上界 该上界称为信道容量。 什么是信息 ? Shannon信息定义 信息、消息和信号 信息 事物运动状态或存在方式不确定性的描述。 不确定性度量 【例】摸球试验 甲袋共100个球，红球白球各50个；乙袋共100个球，红、白、蓝、黑球各25个；现随意从甲袋或乙袋中取