信息论与编码基础》第1章绪论课件.ppt

信息论与编码 周三：7~8 (13:30~15:10)/A105 中山大学计算机科学系 蔡国扬 E_mail: isscgy@mail.sysu.edu.cn 信息 输入 物质 概率空间：一个样本空间 X={a1, a2, …, aq} 和它的概率测度P(X)={P(a1), P(a2), …, P(aq)}统称为一个概率空间，可用 [X, P] 来表示： 先验概率：选择符号 ai 作为消息的概率 P(ai) 称为先验概率。 自信息：在接收端，选择 ai 作为消息（猜测事件 ai 发生）的不确定性与 ai 作为消息的先验概率成反比，表示为 ： 称为 ai 的自信息。自信息描述了 ai 本身携带的信息量，与接收端无关。 1.2 香农信息概念 后验概率：接收端收到的消息(符号)为 bj ，而发送端发的是 ai 的概率 P(ai/bj) 称为后验概率。后验概率反映了在接收端收到的消息(符号)为 bj 后，对于发送端发送的是 ai ，尚存在不确定性。类似地，这种不确定性描述为： 互信息：收信者收到消息(符号) bj 后，将事件 ai 先验的不确定性（自信息）减去尚存在的不确定性定义为互信息： 互信息被认为是此时收信者获得的信息量。 1.2 香农信息概念 如果信道没有干扰，信道的统计特性使 ai 以概率“1”传送到接收端。这时，收信者接到消息后尚存在的不确定性等于零，即 P(ai/bj)＝1，log(1/P(ai/bj))＝0，尚存在的不确定性全部消除。此时互信息等于自信息： 对于必然事件 ai，P(ai)=1，其自信息 I(ai)=0。可以解释为收信者早已确知该事件必然发生，如果事件真的发生了，事件本身携带的信息量等于 0。同理，如果一个小概率事件发生了，则事件本身将携带很大的信息量。 1.2 香农信息概念 有关自信息和互信息的概念即为香农关于信息的定义和度量，通常也称为概率信息。 香农信息概念有突出的优势： 对信息的定义和度量有明确的数学模型和定量计算模型，是一个科学的定义； 对信息的定义与日常理解的信息的含义一致； 定义排除了信息的主观含义，信息成为一种纯形式化的概念。同一信息对任何一个收信者具有同样的自信息量。进一步地，在具有同样信道干扰程度的前提下，同一信息对任何一个收信者具有同样的互信息量。 1.2 香农信息概念 香农信息概念的局限性： 定义和度量的出发点假定了事物状态可以用一个以经典集合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往非常困难。有时对是否存在这样一种模型还值得探讨。 定义和度量没有考虑收信者的主观特性和主观意义，也未顾及信息的具体含意、具体用途、重要程度和引起后果等因素，这与实际情况不完全一致。其实，信息具有很强的主观性和实用性。 1.2 香农信息概念 有关信息本体性的一些观点： 信息的普遍性：物质、能量和信息构成了物质世界的三大支柱。世界是物质的，物质世界中的任何事物都处于永恒的运动和普遍的相互作用之中。上述运动和作用需要能量的支持，并产生各种各样的状态和方式，从而产生信息。信息既是物质存在方式和状态的显示，也是相互作用的显示。信息源于物质世界本身的运动和相互作用，所以信息是普遍存在的，是物质的一种普遍属性。 信息的绝对性：信息不能脱离物质而独立存在，必须以物质为载体，以能量为动力，三者相辅相成，缺一不可。 1.2 香农信息概念 信息的无限性、动态性和时效性：物质运动和相互作用是永恒的、无限的、动态的，所以信息具有无限性、动态性，永远处在产生、演变、更新当中，也形成了对信息的主观认识的时效性。 信息的相对独立性：信息是物质的属性，但并非物质本身，具有相对独立性。事物运动的状态和方式一旦体现出来，就可以脱离原来的事物而相对独立地栽负于别的事物上，而被提取、变换、传递、存储、加工处理。因此，信息不同于它的源事物，也不同于它的载体。 1.2 香农信息概念 信息的共享性：信息的相对独立性使得它可被传递、复制、存储、转换、扩散（流动性），因而具有了共享性。 信息的客观性：信息是对客观现实的反映，不随人的主观意志而改变。如果人为的窜改信息，那么信息就会失去它的价值。 信息的可识别性：人类可以通过感觉器官和科学仪器等方式来获取，整理，认知信息。这是信息得到利用的前提。 信息的度量性：信息可以度量，信息量有多少之分。 1.2 香农信息概念 各种通信系统的本质都是信息传输系统。将他们具有共同特性的部分抽取出来，概括成一个统一的理论模型，通常称为通信系统模型。 通信系统模型适用于其他的信息流通系统，如生物有机体的遗传系统、神经系统、视觉系统，人类社会的管理系统等等，也称为信息传输系统模型。 通信系统模型正是信息论的研究对象。通过对系统中消息的传输和处理来研究信息传输和处理过程的共同规律，以提