信息论基础复习题目.pptxVIP

例2-1：有12个球，只有一个是非标重球，问是否存在用天平称3次必然找到该球的方法？(从信息的角度解决);设离散无记忆信源;解：（1）消息的自信息量就是等于消息中各个符号的自信息量之和。根据题意可得：;（2）此消息中平均每个符号携带的信息量为：;;解：（1）令把棋子任意放在棋盘的某一格为事件xi，则该事件发生的概率为：;设一系统的输入符号集X=(x1,x2,x3,x4,x5)，输出符号集Y=(y1,y2,y3,y4) 输入符号与输出符号间的联合分布为;解：由全概率公式可知：;;定义：联合集ＸＹＺ中，在给定zk的条件下，xi与yj之间的互信息量定义为条件互信息量，即;上式表明：在随机变量Z出现符号zk的前提条件下，信道1通信前、后，输入与输出端同时出现yj和xi的条件不确定性的减少。 ;发送的信息:H(X) 损失的信息:H(X|Y) 通过信道传递到接收端的关于X的信息:I(X;Y) ;例2-7：把已知信源;解：由题意可知;平均互信息 ：;例2-10：设有一批电阻，按阻值分70%是2千欧姆，30%是5千欧姆；按功耗分64%是1/8W，其余是1/4W。现已知2千欧姆阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？;;;;（2）：因为;;例3-1;;解：（1）每个象素亮度信源的概率空间为： ;（2）证明： ;例3-3： 每帧电视图像可以认为是由 ;解：（1）分析可知汉字字集是等概率分布的，则汉字字集信源为;例3-4： 对一最高频率分量为4kHz的模拟信号以奈奎斯特采样定理采样，已知抽样结果是一个独立的平稳随机序列。现将每个抽样值量化为5个离散电平之一，已知这5个电平构成的符号集{X}的概率特性为 ;例3-5：设某二阶离散平稳信源X=X1X2的原始信源的信源模型为： ;信源X提供的熵 ;二.马尔可夫信源的状态转移图 ;解：信源符号个数q=2，k=1,故状态数;有一个二进制二阶马尔可夫信源，其信源符号集为A={0,1},条件概率为： 求状态转移矩阵。;由状态图可知转移矩阵： ;定理：马尔可夫信源具有稳态分布的充要条件是存在一个正整数N，使马尔可夫信源的状态转移矩阵;解： ;3.举例说明马尔可夫信源熵的计算方法 ;解:由例7可知状态转移矩阵为：;由 ;3.5? 信源的相关性和剩余度;例3-10: 英文26个字母加空格共27个符号，根据统计出现的概率如表所示，则英文字母携带的最大信息量是多少？冗余度为多少？ ;解：英文字母携带的最大信息量即为等概时携带的信息量：;例3-11：中文冗余度的统计比英文要复杂得多，难得多，假如以《辞海》（上海，1989）收集的大约15000汉字为信源消息符号，则中文的最大信息熵为; 讨论γ ： ;例3-12： 黑白气象传真图的消息只有黑白两种颜色，即信源X={黑，白}，且p(黑)=0.3，p(白)=0.7。 （1）假设图上黑白消息出现前后没有关系，求熵H(X)。 （2）假设消息前后由关系，其依赖关系为 p(白|白)=0.9，p(黑|白)=0.1，p(白|黑)=0.2， p(黑|黑)=0.8，求此一阶马尔可夫信源的熵H2。 （3）分别求上述两种信源得剩余度，并比较H(X)和H2的大小，并说明其物理意义。;;则其状态转移矩阵为 ：;则此信源的熵为： ;例4-1：; 其中：p、q表示正确传输的概率 ;例4-2：;解:;则平均互信息：;例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到多少掷色子的信息量。;例4-4：求二元无记忆对称信道的二次扩展信道。; 定理1:若信道的输入、输出分别为N长序列X和Y，且信道是无记忆的，即：;由定理1和定理2;例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信道矩阵。 ;例4-6：;例4-7：求具有以下信道矩阵的信道的信道容量;例4-8：求均匀信道的信道容量。;例4-9：求二元对称删除信道的信道容量。;例4-10：设有扰离散信道的传输情况如图所示，求C以及达到C时的输入概率分布 .;解：I(X;Y)=H(Y)-H(Y|X);六.N次扩展离散无记忆信道的信道容量 ; 例4-12: 已知信道的带宽B为3kHz,信号在信道传输中受到单边功率谱密度 为 的加性白高斯噪声的干扰,信号的平均功率S为9W. (1)求信道的容量; (2)若信道带宽增加到原来的10倍,并保持信道容量不变,那么信号平均功率要改变多少dB?;无损信道的剩余度;例4-13： 有一个二元对称信道，其信道矩阵如图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这