北邮信息论202106级期中考试试题及答案.docxVIP

北邮信息论202106级期中考试试题及答案 北京邮电大学 06级《信息论》期中考试试题答案 （2021.11.15） 姓名 班级 学号 分数 注意：要求将试卷和答题纸一起上交 一、(25分)已知基于字符表{“blank”, B, I, M, O, P, S, T}的一段文本如下： OTTOS MOPS TOBT MIT OTTOS MOP BIS OTTO MOPPOT （其中的blank表示空格） (1) 统计文本中出现各字符的频度，并近似看作各字符的概率进行二元Huffman 编码，给出每个字符对应的码字（要求：码长方差最小）；(9分) (2) 求平均码长及码长方差；(4+4=8分) (3) 求编码速率和编码效率。(4+4=8分) 解： （1）首先计算字母表中的字符在文本中出现的频度：（2分） I M O P S T 字符 “blank” B ? 2 2 4 11 4 4 10 45 频度 8 Huffman编码： 码字O11T10“blank”8M4PSBI44220211418181S0111B1110I1111 001160002745“blank”010118M110P0110O00T10（3+4=7分，每错一个码字扣0.5分） (2) 平均码长及码长方差为： l?2?(11?10)/45?3?(8?4)/45?4?(4?4?2?2)/45?2.8码元/信源符号(4分) ?2??pili2?l?11?22/45?10?22/45?8?32/45?4?32/45?2?4?42/45?2?2?42/45?2.82?0.693i2?（4分） 3）编码速率R?llog2?2.8比特/信源符号（4分） 编码效率?? 二、（25分）一马氏源具有状态集合?1,2,...,N?，状态转移图如下图所示 pq123… …H(X)??2.75322.8?98.32%（4分） Llog2ppppNqqqq 其中p?0,q?0,p?q?1。 （1）当N=3时，写出状态转移概率矩阵，并求平稳分布。（3+6=9分） （2）对任意N值，写出状态转移概率矩阵，并求平稳分布。（3+6=9分） （3）对任意N值，求马氏源的符号熵。（7分） 答： （1） N=3,状态转移概率矩阵为： ?q??q?0?p0q0??p? （3分） p???qq??1?2?3???由?0??1??2??3?1p0q0??p????1?2?3? （3分） p?? q2(1?p)2?1?2?2p?pq?q1?p?p2pqp(1?p)?得平稳分布为：?2?2（各1分共3分） 22p?pq?q1?p?pp2p2?3?2?p?pq?q21?p?p2 （2） 对任意N，状态转移概率概率矩阵如下： ?q??q?0??0?.??0?0?p0q0.000p0q.000...00p0....0...0...0....0??0?0??0? （3分） .??p?p??p0q0.000p0q.000...00...0p...00...0.....0...00...q0??0?0?? 0????1?2?3...?N?1?N?.??p?p??0...00...q该马氏源处于平稳分布时，有： ?q??q?0??N??0?.??0?0???1?2?3...?N?1以及 ??i?1Ni?1（2+1=3分） 得： ?ip??i-1q （i?2，N）， 从而有：N?p??i????1， ??i?1i?1?q?p1??令?=，得：?1?q1??N因此，平稳分布为： i-1 ?i?1(1??)（3分） ?i?，（i?1，N）1??N（3）由于马氏源状态转移概率矩阵的每行都相等，所以有： （4分） h1?h2?...?hN?H(p)， 从而对任意N，有H??H(p)（3分） 三、（25分）x和z为独立同分布的连续随机变量，且都在区间[-1/2, 1/2]上服从 均匀分布，随机变量y=x+z。 （1） 求连续随机变量集合Z的差熵h(Z);（5分） ?x??10??x?（2） 证明：h(Y|X) = h(Z);（提示：????）（7分） ????y??11??z?（3） 求连续随机变量Y的概率密度函数；（提示：两个独立随机变量之和的概 率密度为这两个随机变量概率密度的卷积）（3分） （4） 求连续随机变量集合Y的差熵h(Y); （5分） （5