信息论和编码4----信源和信源熵32.pptVIP

第三章：信源及信源熵 ; 信源的分类及其数学模型;时间 （空间） ; 信源的分类及其数学模型; 本章重点研究离散平稳无记忆信源，以及较简单的有记忆信源－马尔可夫信源。;二：离散单符号信源;离散单符号信源;离散单符号信源（续）;一：信源的分类及其数学模型;1. 预备知识;1. 预备知识（续1）;1. 预备知识（续2）;1. 预备知识（续3）;2. 离散平稳无记忆信源;2. 离散平稳无记忆信源（续1）;2. 离散平稳无记忆信源（续2）;2. 离散平稳无记忆信源（续3）;2. 离散平稳无记忆信源（续4）;2. 离散平稳无记忆信源（续5）;2. 离散平稳无记忆信源（续6）;3. 离散平稳有记忆信源;3. 离散平稳有记忆信源（续1）;3. 离散平稳有记忆信源（续2）;3. 离散平稳有记忆信源（续3）;3. 离散平稳有记忆信源（续4）;3. 离散平稳有记忆信源（续5）;3. 离散平稳有记忆信源（续6）;4. 马尔可夫信源;4. 马尔可夫信源（续1）;4. 马尔可夫信源（续2）;4. 马尔可夫信源（续3）;4. 马尔可夫信源（续4）;4. 马尔可夫信源（续5）;4. 马尔可夫信源（续6）;4. 马尔可夫信源（续7）;4. 马尔可夫信源（续8）;4. 马尔可夫信源（续9）;4. 马尔可夫信源（续10）;4. 马尔可夫信源（续11）;4. 马尔可夫信源（续12）;4. 马尔可夫信源（续13）;4. 马尔可夫信源（续14）;4. 马尔可夫信源（续15）;4. 马尔可夫信源（续16）;4. 马尔可夫信源（续17）;4. 马尔可夫信源（续18）;4. 马尔可夫信源（续19）;4. 马尔可夫信源（续20）;4. 马尔可夫信源（续21）;4. 马尔可夫信源（续22）;4. 马尔可夫信源（续23）;5. 信源的相关性和剩余度;5. 信源的相关性和剩余度（续）;5. 信源的相关性和剩余度（续1）;英文信源： H0=4.76 H1=4.03 H2=3.32 H3=3.1 …… H5=1.65 H∞ =1.4;英文 法文 德文 西班牙文 中文 （按8千汉字计算） ;例 3.7： 计算汉字的剩余度。假设常用汉字约为 10000个，其中 140 个汉字出现的概率占 50%， 625个汉字（含140个）出现的概率占 85%，2400个汉字（含625个）出现的概率占 99.7%，其余 7600个汉字出现的概率占 0.3%，不考虑符号间的相关性，只考虑它的概率分布，在这??级近似下计算汉字的剩余度。 ;解：为了计算方便，假设每类中汉字出现是等概的，得表 ;一：信源的分类及其数学模型;单符号信源; ;单符号信源; ;单符号信源; ;单符号信源;同样，我们可以定义两个连续随机变量的联合熵： 及条件熵 ， 并且它们之间也有与离散随机变量一样的相互关系： ;单符号信源;单符号信源;单符号信源;单符号信源;单符号信源;单符号信源;单符号信源;单符号信源;思考： 若随机噪声在 之间的概率密度函数 。求该信源的微分熵。 ;单符号信源;单符号信源