信息论与编码复习期末考试要点.ppt

若信源处于某一状态si,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。系统在任一时刻可处于状态空间S={s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵符号条件概率矩阵区别马尔可夫信源*一个不可约的、非周期的、状态有限的马尔可夫链其k步转移概率pij(k)在k→∞时趋于一个和初始状态无关的极限概率Wj，它是满足方程组的唯一解；Wj：马尔可夫链的一个平稳分布，Wj[或p(sj)]就是系统此时处于状态sj的概率。无论随机点从哪一个状态si出发，当转移的步数k足够大时，转移到状态sj的概率pij(k)都近似于一个常数Wj例5：有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率：p(0|00)=1/2p(1|00)=1/2p(0|01)=1/3p(1|01)=2/3p(0|10)=1/4p(1|10)=3/4p(0|11)=1/5p(1|11)=4/5求：⑴信源全部状态及状态转移概率⑵画出完整的二阶马尔可夫信源状态转移图。⑶求平稳分布概率符号条件概率矩阵*状态转移概率矩阵(1)1/2(0)1/2(0)1/3(1)2/300011110s2s1s4s3(1)3/4(0)1/4(0)1/5(1)4/5稳态分布概率*八、连续信源的熵和互信息*相对熵/连续熵01020304限峰功率的最大相对熵定理对于定义域为有限的随机矢量X，当它是均匀分布时，其熵最大。随机变量X幅度取值限制在[a,b]，当信源达到最大熵。限平均功率最大相对熵定理对于相关矩阵一定的随机矢量X，当它是正态分布(高斯分布)时具有最大相对熵。即随机变量X的概率密度分布为信源熵最大。奈特/样值信道与信道容量第三章熟练掌握信道容量的相关概念信道分类（有记忆和无记忆信道）、信道容量、信源与信道匹配熟练计算信道容量以及达到信道容量时对应的输入概率分布重点：无干扰离散信道、对称DMC（离散无记忆）信道、准对称信道习题5、6信道容量*信道容量C：最大的信息传输率1、无干扰离散信道*设信道的输入X∈A={a1…an},输出Y∈B={b1…bm}无嗓无损信道输入和输出符号之间有确定的一一对应关系1无嗓有损信道多个输入变成一个输出(n＞m)2噪声熵H(Y|X)＝03损失熵H(X|Y)≠0有嗓无损信道一个输入对应多个输出(n＜m)01接收到符号Y后,对发送的X符号是完全确定的。01噪声熵H(Y|X)≠0损失熵H(X|Y)=001***信息论与编码课程内容*信息论的基本问题—信息的度量无失真信源编码定理—香农第一定理信道编码定理—香农第二定理限失真信源编码定理—香农第三定理信源编码信道编码第一部分绪论1信息论的奠基人香农及其重要著作；2信息、消息、信号的区别和联系3通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用（一）信息论的形成与发展*信息论的奠基人：香农重要著作：1948年香农在《贝尔系统技术》杂志上发表的《通信的数学理论》(Amathematicaltheoryofcommunication)。第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息----香农信息、消息和信号的区别与联系信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。信号是消息的物理体现。信号是信息的载荷子或载体，是物理性的。信息是事物运动状态或存在方式。消息是指包含有信息的语言、文字和图像等12345（三）数字通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥uxykzvzyx第二部分信源与信息熵掌握相关概念1信源分类（如离散与连续、有记忆和无记忆等）2自信息、信源熵、平均互信息等概念及性质3熟练熵、互信息的相关计算4掌握马尔科夫信源中状态转移概率、符号转移概率的相关概念以及运算5了解数据处理定理6了解连续信源中，最大熵定理7限峰功率最大熵定理8限平均功率最大熵定理9一、自信息量*设离散信源X，其概率空间为自信息量：某符号出现后提供给收信者的信息量0102I(xi)的特