(信息论.docVIP

1信息、消息和信号的关系： 消息是含有信息的语言,文字和图像等,是具体的,它承载信息.信号是消息的物理体现，是信息的载体。 2香农对信息的定义是什么？ 信息是指各个事物运动的状态及状态变化的形式。 是事物运动状态或存在方式的不确定性的描述。 3信源编码器的作用是什么？ 对信源输出的消息（符号）进行变换和处理，提高信息传输效率。 4信道编码器的作用是什么？ 对信源编码器的输出进行检错和纠错处理，提高信息传输的可靠性 5什么是连续信源？如何描述它？ 连续信源是指发出在幅度上连续分布的消息的信源，如语言、图像、图形等都是连续消息。 举例：随机取电池试验（测量电压值）。该如何描述此信源？ 任意连续信源 的数学模型为 6什么是离散信源？如何描述它？ 离散信源是指发出在幅度上离散分布的消息的信源，如文字、数字、数据等符号都是离散消息。 或：消息数量有限的信源。 或：可以用离散型随机变量及其概率空间来描述的信源 举例：掷骰子试验。随机变量X为离散型随机变量。 若把消息变换成信号，用六种幅度的电脉冲表示6种符号，输出幅度上离散的信号。 7什么是无记忆信源？举例说明 无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联。 8什么是有记忆信源？举例说明 有记忆信源所发出的各个符号的概率是有关联的。 9什么是随机波形信源？ 时间连续、幅度连续信源（随机波形信源） 人就是一种随机波形信源。语音是时间和幅度都连续的消息。由换能器（如：话筒）转换成模拟电信号，称为语音信号。它是随机信号（随机过程）。因而随机波形信源用随机过程来描述。 10什么叫m阶的马尔可夫信源 输出符号序列，符号之间有统计依赖性，但依赖性是有限的。某时刻输出的符号只与前面的m个符号有关，而与更前面的那些符号无关，此时称信源的记忆长度为m+1,这样的信源 叫做m阶马尔可夫信源 11如何判断马尔科夫信源的遍历性？ 一个不可约、非周期的有限状态的马尔可夫链一定是遍历的 12离散单符号信源的自信息如何定义的？ 一个随机事件的自信息量定义为其出现概率对数的负值（或对概率的倒数取对数） 。 13离散单符号信源的熵是如何定义的？ 物理含义： 信源输出前的平均不确定度；信源输出后平均每个消息提供的信息量；表明和区分信源中的每个符号需要的信息量。 14试说明互信息的物理含义 15试说明信源上的物理含义 物理含义： 信源输出前的平均不确定度；信源输出后平均每个消息提供的信息量；表明和区分信源中的每个符号需要的信息量。 16解释数据处理定理 17叙述离散无记忆信源的最大熵定理 离散无记忆信源输出M个不同的符号，当且仅当各个符号出现的概率相等(Pi=1/M)时，信源的熵最大，logM.此时各个符号的不确定性最大。 18叙述连续信源的最大熵定理 (1)对于定义域为有限的随机变量X，当它是均匀分布时，其熵最大。(2)对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大相对熵。 19什么是信源冗余度？信源冗余度产生的原因是什么？ 如果一个消息所包含的符号比表达这个 消息所需要的必要符号多，那么这样的消息就存在冗余度。 一是信源符号间的相关性，二是信源符号分布的不均匀性 20什么是突发差错信道 大的脉冲干扰或闪电对码元的影响是前后相关的。错误成串出现，且是突发性的；如移动信道。 21什么是随机差错信道？ 随机差错信道：噪声独立地、随机地影响每个传输的码元。如加性高斯白噪声(AGWN)信道。 22什么是对称的离散无记忆的信道？ 参数：表示输入和输出统计依赖关系的转移概率。 对于单符号信道，即 ,对于符号序列信道，即 。 23描述信道的参数是什么？为什么？ 参数：表示输入和输出统计依赖关系的转移概率。 对于单符号信道，即 ,对于符号序列信道，即 。 由于信道引入的干扰,使得输入和输出之间没有确定的对应关系，而只有统计上的依赖关系(用转移概率来描述)。知道了这种关系，信道的全部特性就确定了，所以它是信道的参数。 24画出并解释波形信道的数字模型 25信道容量是如何定义的？ 定义最大的信息传输率为信道容量, 26率失真函数的物理含义是什么？ 27根据香农公式，画出频带利用率的极限曲线 频带利用率：Ct/w=log(1+SNR) 单位频带的信息传输速率，bps/Hz， 信道的利用程度。香农公式给出了不同 的SNR下，所能达到的最大频带利用率。 28叙述香农公式，解释信道带宽对于提高信道容量有什么作用？ Ct一定时，带宽w和信噪比SNR可以互换。大的系统带宽可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带宽的要求。 29什么是无失真