信息论与编码课程61388.doc

竹玄伎鬼Z飪/尊 信息论与编码 题 目 香农信息论的基本理论探究 姓 名 学 号 20092334064 院 系滨江学院电子工程系 成 绩 二0 年十二月二十八日 香农信息论的基本理论探究 胡乐 20092334064 南京信息工程大学滨江学院2009级通信工程〈二〉班 【内容 】：信息是占从人类出现以來就存在于这个世界上了，天地万物，飞禽走兽， 以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播 信息，以及利用信息。从原來的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机, 信息技术在人类丿力史的进程当小随着牛?产力的进步而发展。而信息理论的提出却远远落后于 信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基木理论包 括：信息的定义和度量；各类离散信源和连续信源的信息爛；有记忆、无记忆离散和连续信 道的信道容量；无失真信源编码定理。 【关键词】：平均白信息信道容量信源编码 崔夫曼码 一?信息的度量 在各种通信系统的信源当中，离散随机信源是一类最基本的信源，信源输出是单个的符 号的消息，并且消息Z间是两两互不相容的。假设有个-?维离散无记忆信源，它的概率分布 函数决定了他所携带的信息。该信源空间小共有q个符号，每个符号发生的概率是Pi,那么 发出某个符号所携带的信息虽是-logPi ,由于概率是在0和1 Z间的，使得每一事件的信息 量是非负的。如果该事件发生的概率是0,或者是1,则表明该事件一定不会发生或者一定 会发仁那么他所携带的信息量是0。从理论上讲，该事件发生的概率越小，那么它的不确 定性也就越大,它所携带的信息虽也就越大。该事件发生的概率越人,它所携带的信息量也 就越大。这也是人们为什么一听到一件不可思议的事情发生了 Z后，会感到非常惊讶的原因。 对于通信系统的信源來说，它不会仅仅只发出一个消息，这个消息发生的概率也不是1。 必然会冇别的可能的情况发生。那么对于一个信源来讲，它所包含的信息虽是什么样子的, 我们可以用平均自信息虽来度虽，即对每个事件各自所携带的信息量做一个加权平均。即可 以得到信源的平均白信息量。 信息爛的定义如下:W(x) =甘 信息爛的定义如下: W(x) = 甘1。?一］=-刃0）1。欧（4） 平均自信息虽也称为信息爛。信息爛是从平均意义上来表征信源的总体信息测度的。 对于某特定的信源，它的信息爛是一个确定的数值。不同的信源因为其概率分布不同，它的 爛也不同。 信息爛具冇一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。 这里而有一个最大离散爛定理，衣明：离散信源情况下，对于具有q个符号的离散信源，只 有在q个信源符号等可能岀现的情况下，信源爛才能达到最大值，这样也表明等概率分布信 源的平均不确定性为最大。这个定理为我们后而研究有噪信道编码定理提供了有力的依据。 离散平稳信源是一种非常重要的信源模型。如果不同时刻信源输出符号的概率分布完 全相同，则称为一维离散平稳信源。一维离散平稳信源无论在什么时候均按P(X)的概率分 布输出符号。最简单的离散平稳倍源就是二维离散平稳信源。二维离散平稳信源就是信源输 出的随机序列…，Xl,X2,???,Xi,…，满足其一维和二维概率分布与时间起点无关。二维离 散平稳信源的联合爛 H(X、XJ = 龙fPE 7)log(a,.a .) /=1 ；=1 此联合爛表明原来信源X输出任意一对可能的消息的共爛，即描述信源X输出氏度为2 的序列的平均不确定性，或者说所含有的信息量。可以用i//(x,x2)作为二维离散平稳信 源X的信息爛的近视值。 除了平稳离散信源Z外，还存在着非平稳离散信源。在非平稳离散信源中冇一类特殊 的信源。这种信源输出的符号序列中符号ZI可的依赖关系是有限的，这种关系满足我们在随 机过程小讲到的马尔可夫链的性质，因此可用马尔可夫链來处理。马尔可夫信源是一种非常 重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件： 某一时刻信源符号的输出只与此刻信源所出的状态冇关，而与以前的状态及以 前的输出符号都无关。 信源某/时刻所处的状态由当前的输出符号和前一时刻(/-I)信源的状态唯一 决定。 马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移 可能会改变。第/时间信源输出什么符号，不但与前一(Z-1)时刻信源所处的状态和所输 出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。--般马尔可夫 信源的信息爛是其平均符号爛的极限值，它的表达式就是： H肿孔(X2肿…X .V -?oo n 二.平均互信息 信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息 的消息。消息必须要转换成能在信道中传输或存储的信号,然后通过