汉字的熵及熵率计算(信息论课堂论文).docVIP

汉字的熵及熵率计算 中国文字——汉字的产生，有据可查的，是在约公元前14世纪的殷商后期。最早刻划符号距今8000多年，汉字是世界上使用人数最多的一种文字，也是寿命最长的一种文字。我们知道汉字历史悠久，汉语文化源远流长。 汉字所传达的信息量也是很大的。比如汉语中的多音字以及一词多义。其中特别以文言文和诗词为代表。汉字相比于其他语言，在一定程度上也有更多的信息量。比如唐朝诗人李白的《赠汪伦》，“李 白 乘 舟 将 欲 行 ， 忽 闻 岸 上 踏 歌 声 。 桃 花 潭 水 深 千 尺 ， 不 及 汪 伦 送 我 情 。”如果译为英文的话，“Im on board; Were about to sail, When theres stamping and singing on shore; Peach Blossom Pool is a thousand feet deep, Yet not so deep,Wang Lun,as your love for me. ”同样的内容，汉字平均携带的信息量更大。 在信息论领域，我们可以用熵来刻画汉字所携带的信息量。 一．熵： 信息熵：熵是由德国物理学家克劳修斯于1868年引入，用以从统计概率的角度对一个系统混乱无序程度的度量。信息熵是从信源角度考虑信息量，表示信源整体不确定性的量。信息论中