信息论基础教程1.ppt

信息论基础教程 个人信息 姓名：王 林 电话 E-mail：wanglin@xaut.edu.cn QQ：316566035 办公室：教5-616 1.1 信息的概念 信息论是通信的数学基础，创立于1948年，创始人为Claude Shannon （香农）。香农采用概率论的方法研究通信中的问题，并对信息给予了定量描述，提出了信息熵的概念。 信息是关于不确定性的描述 概率可来测度不确定性的大小。信息论中，消息用随机事件表示，而发出这些消息的信源则用随机变量来表示。 把某个消息 出现的不确定性的大小，定义为自信息，表示为该消息出现的概率的对数的负值： 自信息同时表示这个消息所包含的信息量，也就是最大能够给予收信者的信息量。 信息熵 信源所含有的信息量定义为信源发出的所有可能消息的平均不确定性，称为信息熵。即 这里的q表示信源消息的个数。信息熵表示信源的平均不确定性的大小，同时表示信源输出的消息所含的平均信息量。 1.2 信息论的研究对象、目的和内容 信息论的研究对象是广义的通信系统： 通信系统的组成 （1）信源：产生消息和消息序列的源。 （2）编码器：将消息变成适合在信道传输的信号。编码器分为信源编码器和信道编码器。 （3）信道：通信系统把载荷消息的信号从发送端送到接收端的媒介或通道。 （4）译码器：把信道输出的已迭加了干扰的编码信号进行反变换，变成信宿能够接受的消息。 （5）信宿：消息传送的对象，即接受消息的人或机器。 研究内容 ①什么是信息？如何度量信息？ ②怎样确定信源中含有多少信息量？ ③对于一个信道，它传输信息量的最高极限（信道容量）是多少？ ④为了能够无失真地传输信源信息，对信源编码时所需的最少的码符号数是多少？（无失真信源编码即香农第一定理） ⑤在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？（有噪信道编码即香农第二定理） ⑥如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？（限失真信源编码即香农第三定理） 研究内容 ? （1）狭义信息论：通过数学描述和定量分析，研究通信系统从信源到信宿的全过程，包括信息的测度、信道容量以及信源和信道编码理论等问题，强调通过编码和译码使收、发两端联合最优化，并且以定理的形式证明极限的存在。这部分内容是信息论的基础理论。 （2）一般信息论：研究信息传输和处理问题，除香农信息论的内容外，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。 （3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。 第二章 信息的度量 2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息 2.1 自信息和互信息 2.1.1 自信息 随机事件的自信息量 是该事件发生概率 的函数，满足： 1. 是 的严格递减函数。即，概率越小，事件发生以后所包含的自信息量越大； 2．极限情况下当 =0时， ；当 =1时， =0。 3．两个相对独立的不同的消息所提供的信息量等于它们分别提供的信息量之和。 自信息量的定义 定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。设事件 的概率为 ，则其自信息定义为 代表两种含义：当事件发生以前， 等于事件发生的不确定性的大小；当事 件发生以后，表示事件所含有或所能提 供的信息量。 自信息量的单位 （1）若取对数的底为2，信息量的单位为比特。当 =1/2时， =1比特，即概率等于1/2的事件具有1比特的自信息量。 （2）若取自然对数，自信息量的单位为奈特。 1奈特= 比特=1.443比特 （3）若以10为对数底，则自信息量的单位为哈特莱（Hartley）。1哈特莱= 比特=3.322比特 （4）若取r为对数底（r1），则 = 进制单位 1r进制单位= 比特 2.1.2 互信息 定义