信息论总复习课件.ppt

2.平均错误概率（ ***** ） 平均错误概率 二元对称信道 单符号信道 3.有噪信道编码定理及其逆定理（**********） 有噪信道的信道容量C，若信息传输率RC，只要码长n足 够长，必存在一种信道编码和相应的译码规则，使译码平均 错误概率PE为任意小。反之，若RC 则不存在以R传输信息 而PE为任意小的码。 4.信源信道编码定理(***) 某离散信源的极限熵H∞，离散信道容量C，若H∞C,则存在 信源和信道编码，其平均错误概率趋近于0。反之， H∞C， 不存在信源和信道编码，使无失真的传输信源信息。 试题类型 一、简答题（每题6分，共30分） 基本定理、基本概念 二、判断题（每题2分，共10分） 基本定理、基本概念 三、计算题（共40分） 基本概念的应用，难度与课件例题、课后作业题相 当。比如：熵的计算，信道容量的计算，译码规则，平均错误概率等等 四、综合题（共20分） 相当于两道计算题的结合 感谢同学们的支持！ 祝同学们期末考试取得好成绩！ 谢谢！ 计算问答 第一专题 本章是信息论的基本概念，介绍的主要内容有： 从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 信息的特点：无确切定义，人人皆知的抽象概念 信息的特征：抽象性和广泛性 信息与消息、信号的关系 香农信息论给出的信息的定义： 1.信息的概念 ***** 信息是事物运动状态或存在方式的不确定性的描述******。 2.什么是信息论 （1）信息论的发展简史 1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 （2）信息论研究的对象 干扰源 信道 信道译码器 信道编码器 信源译码器 信源编码器 信宿 信源 等效信源 等效信宿 等效干扰信道 图1-1 信息传输系统模型 ***** ********* 这个模型包括以下五个部分： 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。 5. 信宿 信宿是消息的接收者。 2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。 1.信源 信源是产生消息的源。 编码器 信源编码器，提高传输效率 信道编码器，提高传输可靠性 第二专题 1.信源的分类 离散信源和连续信源；平稳信源和非平稳信源；有记忆信源 和无记忆信源 2.离散信源的信息熵(*******) （1）自信息 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，表示该事件所提供的信息量． （2）信息熵(平均自信息**********） （3）信息熵的物理含义********* 信息熵表示信源输出后，每个消息（或符号）所提供的平均信息量 信息熵表示信源输出前，信源的平均不确定性。 用信息熵来表征变量X的随机性 3.信息熵的基本性质(*********包含性质的具体内容) 非负性 对称性 确定性 扩展性 极值性 可加性 强可加性 递增性 上凸性 唯一性 H(X)≥0 H（XY）= H（X）+ H（Y）******* H(XY)=H(X)+H(Y/X) 熵函数H(P) 是概率矢量P=（p1,p2,…,pn)的严 格n型凸函数。 ********* 4.离散无记忆扩展信源的信息熵（********） （1）离散无记忆扩展信源的数学模型 （2）离散无记忆扩展信源的信息熵******* 5.离散平稳信源的信息熵（*****） （1）离散平稳信源的定义（*****）数学模型 （2）离散平稳信源的信息测度 联合熵 条件熵 注意符号的前后依赖关系 7.信源剩余度（了解） 熵的相对率 信源剩余度 第三专题 一.信道的分类 单用户信道和多用户信道； 有反馈信道和无反馈信道； 时变参数信道和固定参数信道； 离散信道、连续信道、半连续半离散信道和波形信道； 有记忆信道和无记忆信道； 有噪信道和无噪信道。 二.离散信道的数学模型(**********) 1.一般离散信道（多维离散信道） P(Y/X) X Y 2.基本离散信道（单符号离散信道） X Y 根据信道矩阵的特点，信道可分为： （1）对称离散信道（2）准对称离散信道（3）强对称离散信道 3.无噪信道（无干扰信道） 无噪信道 （1）无噪无损信道: 一一对应关系 （2）无噪有损信道：多对一关系 有噪信道：信道转移概率不是0，1分布 有噪无损信道：一对多关系，其