生活中的信息论.pptVIP

Wuhan University Wuhan University * 生活中的信息论 武汉大学 电子信息学院 吴静 * 熵和汉语字典 每个汉字的信息熵 汉语常用字7000 （13比特） 考虑前 10% 的汉字占文 本的95% 以上 （8~9比特） 考虑上下文相关性 （5比特） 独立等概时最大 * 熵的冗余度和《笑傲江湖》 117.2万字(586万比特) 两字节的国标编码存储 2.34MB 压缩编码 chm 1.05MB txt 1.88MB umd 1.21MB jar 0.332MB 冗余度 * 汉语是最简洁的语言 不同语言的冗余度差别很大，而汉语在所有语言中冗余度是相对小的。 * Google 的中英文自动翻译 统计语言模型 P(S) = P(w1)P(w2|w1)P(w3| w1 w2)…P(wn|w1 w2…wn-1) P(S) = P(w1)P(w2|w1)P(w3|w2)…P(wi|wi-1)… P(wi|wi-1) = P(wi-1,wi)/ P (wi-1) * Google 的中英文自动翻译 语言模型是为了用上下文预测当前的文字，模型越好，预测得越准，那么当前文字的不确定性就越小。 信息熵可以直接用于衡量统计语言模型的好坏。 贾里尼克——