第二章信息论及数学基础预案.ppt

信息论与数学基础 熵 “熵”是德国物理学家克劳修斯在１８５０年创造的一个定义，他用熵的定义来表示任何一种能量在空间中分布的均匀程度。 能量分布得越均匀，熵就越大。 如果对于我们所考虑的那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。 2.1 信息论 1948年由香农（claude elmwood shannon）确立了信息论 从通信的实质意义来讲，如果接收者收到的消息是已知的，则等于没有收到任何消息。 因此，人们更感兴趣的是消息中所包含的未知成分，用概率论的术语来讲，就是具有不确定性的成分，香农将该成分称为信息，并进行了数量描述。 2.1 信息论 信息量：对消息的所有可能含义进行编码时所需要的最少比特数 例如对于一周中的时间或性别进行有效编码 一条消息中的信息量可以通过熵来度量 1 熵和不确定性 在1948年由克劳德·艾尔伍德·香农第一次引入到信息论中来。 定义 如果有一个系统S内存在多个事件S = {E1,...,En}，每个事件的机率分布 P = {p1, ..., pn}，则每个事件本身的信息为： Ie= ? log2pi（对数以2为底，单位是位元(bit)） Ie = ? lnpi（对数以e为底， 单位是纳特/nats） 例如 1）如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的信息量为：