信息论期中复习.docVIP

复习课： 第一章 绪论 1:信息论的起源是什么？谁？什么文章？ 1948年美国工程师和数学家香农发表的《通信的数学理论》 ------标志着信息论的产生 2：信息的分类: 信息分成3 个基本层次: 语法(Syntactic)信息、语义信息、 谁语用信息 3、信息有基本特征： 1）许多与物质、能量相同的特征，例如信息可以产生、消失、携带、处理和量度； 2) 信息也有与物质、能量不同的特征，例如，信息可以共享，可以无限制地复制等。 4、通信系统的数学模型： 3.1、信源 信源是信息的来源，其功能是直接产生可能包含信息的消息 信源的分类 1) 无记忆信源和有记忆信源 2 ) 离散信源和连续信源 连续信源又分为： 离散时间连续信源 波形信源或模拟信源 3.2、编码器 信源编码器: 目的是提高传输有效性 信道编码器: 目的是提高传输可靠性 调制器: 将编码器的输出符号变成适合信道传输的信号，目的是，提高传输效率 模拟系统仅有：调制器 3.3信道 狭义信道和广义信道 无噪声信道和有噪声信道 (一般信道研究的是理想加性高斯白噪声（AWGN）信道) 3.4译码器 从信号中恢复消息。 解调器: 信道输出信号恢复成符号； 信道译码器: 去掉解调器输出符号中的冗余符号 信源译码器: 信道译码器输出符号变成消息 3.5信宿 接收信息 4、通信系统性能指标的评价 有效性: 用频谱利用率来衡量。提高有效性的措施是，采用信源编码以压缩码率，采用频谱利用率高的调制减小传输带宽； 可靠性: 用传输错误率来衡量。提高可靠性的措施是，采用信道编码以降低错误率； 安全性: 可通过信息的加密强度来衡量。提高安全性的措施是，采用强度高的加密和伪装技术。 5、香农信息论的主要内容 一个概念，三个定理 信息熵 三个编码定理 无失真信源编码定理: 信源编码码率（编码后传送信源符号所需比特数）不小于信源的熵，就存在无失真编码 信道编码定理： 信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，反之不存在使差错任意小的编码 信息率失真理论: 对任何失真测度D 0，只要码可找到一种编码，使得当信源编码的码率 R（D）字足够长，总时，码的平均失真D；反之，如果信源编码的码率 R（D），就不存在平均失真 D的编码。 第二章 离散信息的度量 离散消息:离散信源在离散时间发出取自于可数符号集的消息 (或事件）。 离散信息度量 自信息和信息熵 : 对消息或消息集合本身所含信息量多少的度量(事件发生前的不确定性的度量) 互信息和平均互信息: 对消息之间或消息集合之间相互提供信息量多少的度量 自信息量的单位: 4、自信息：一个事件（消息）本身所包含的信息量 互信息：一个事件所给出关于另一个事件的信息量 信息熵（平均自信息）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。 信源输出前? 信源的平均不确定性 信源输出后? 一个信源符号所提供的平均信息量 平均互信息：一个事件集所给出关于另一个事件集的平均信息量。 相关公式： 自信息: 联合自信息 : 自信息：一个事件（消息）本身所包含的信息量 互信息：一个事件所给出关于另一个事件的信息量 信息熵（平均自信息）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。 信源输出前? 信源的平均不确定性 信源输出后? 一个信源符号所提供的平均信息量 平均互信息：一个事件集所给出关于另一个事件集的平均信息量。 相关公式： 自信息: 联合自信息 : 条件自信息 : 自信息、条件自信息和联合自信息之间的关系： I(xy)= I(x)+ I(y|x)= I(y)+ I(x|y) 互信息（一个事件y所给出关于另一个事件x的信息定义为互信息，用 表示） 说明：两个等号之后的计算方法都可能在题目中遇到。 条件互信息：（联合集XYZ，在给定z∈Z 条件下x(∈X)与y(∈Y )之间的互信息）使信息得到了定量的表示 信息熵(平均自信息): 两种计算方法： 定义以及有根概率树