《精》《信息学概论》第1章 绪论.pptVIP

信息 输入 物质 某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关。如果不确定性的大小能够度量，那么信息也是可以测度的。 与信息测度相关的几个概念包括：样本空间、概率空间 、先验概率 、自信息 、后验概率 、互信息等。 样本空间：某事物所有可能选择的消息的集合（即该事物所有可能出现的不同状态）构成该事物的样本空间。每个可能选择的消息（或称一个事件）是这个空间的一个元素。 概率测度：对于一个离散的消息空间，为其中每一个消息选择一个概率，构成这个空间的一个概率测度。 1.2 香农信息概念 概率空间：一个样本空间X={a1, a2, …, aq}和它的概率测度P(X)={P(a1), P(a2), …, P(aq)}统称为一个概率空间，可用 [X,P] 来表示： 先验概率：选择符号 ai 作为消息的概率P(ai)称为先验概率。 自信息：在接收端，选择ai 作为消息（猜测事件ai发生）的不确定性与ai 作为消息的先验概率成反比，表示为 ： 称为ai的自信息。自信息描述了ai本身携带的信息量，与接收端无关。 1.2 香农信息概念 后验概率：接收端收到的消息(符号)为 bj ，而发送端发的是 ai 的概率 P(ai/bj)称为后验概率。后验概率反映了在接收端收到的消息(符号)为 bj 后，对于发送端发送的是ai ，尚存在不确定性。类似地，这种不确定性描述为： 互信息：收信者收到消息(符号) bj 后，将事件ai先验的不确定性减去尚存在的不确定性定义为互信息： 互信息被认为是此时收信者获得的信息量。 1.2 香农信息概念 如果信道没有干扰，信道的统计特性使 ai 以概率“1”传送到接收端。这时，收信者接到消息后尚存在的不确定性等于零，即P(ai/bj)＝1，log(1/P(ai/bj))＝0，尚存在的不确定性全部消除。此时互信息等于自信息： 对于必然事件ai，P(ai)=1，其自信息I(ai)=0。可以解释为收信者早已确知该事件必然发生，如果事件真的发生了，事件本身携带的信息量等于0。同理，如果一个小概率事件发生了，则事件本身将携带很大的信息量。 1.2 香农信息概念 有关自信息和互信息的概念即为香农关于信息的定义和度量，通常也称为概率信息。 香农信息概念有突出的优势： 对信息的定义和度量有明确的数学模型和定量计算模型，是一个科学的定义； 对信息的定义与日常理解的信息的含义一致； 定义排除了信息的主观含义，信息成为一种纯形式化的概念。同一信息对任何一个收信者具有同样的自信息量。进一步地，在具有同样信道干扰程度的前提下，同一信息对任何一个收信者具有同样的互信息量。 1.2 香农信息概念 香农信息概念的局限性： 定义和度量的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往非常困难。有时对是否存在这样一种模型还值得探讨。 定义和度量没有考虑收信者的主观特性和主观意义，不顾信息的具体含意、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。其实，信息有很强的主观性和实用性。 1.2 香农信息概念 有关信息本体性的一些观点： 信息的普遍性：物质、能量和信息构成了物质世界的三大支柱。世界是物质的，物质世界中的任何事物都处于永恒的运动和普遍的相互作用之中。上述运动和作用需要能量的支持，并产生各种各样的状态和方式，从而产生信息。信息既是物质存在方式和状态的显示，也是相互作用的显示。信息源于物质世界本身的运动和相互作用，所以信息是普遍存在的，是物质的一种普遍属性。 信息的绝对性(依附性) ：信息不能脱离物质而独立存在，必须以物质为载体，以能量为动力，三者相辅相成，缺一不可。 1.2 香农信息概念 有关信息本体性的一些观点： 信息的无限性、动态性和时效性：物质运动和相互作用是永恒的、无限的、动态的，所以信息具有无限性、动态性，永远处在产生、演变、更新当中，也形成了对信息的主观认识的时效性。 信息的相对独立性：信息是物质的属性，但并非物质本身，具有相对独立性。事物运动的状态和方式一旦体现出来，就可以脱离原来的事物而相对独立地栽负于别的事物上，而被提取、变换、传递、存储、加工处理。因此，信息不同于它的源事物，也不同于它的载体。 1.2 香农信息概念 有关信息本体性的一些观点： 信息的共享性：信息的相对独立性使得它可被传递、复制、存储、转换、扩散（流动性），因而具有了共享性。 信息的客观性：信息是对客观现实的反映，不随人的主观意志而改变。如果人为的窜改信息，那么信息就会失去它的价值。 信息的可识别性：人类可以通过感觉器官和科学仪器等方式来获取，整理，认知信息。这是信息得到利用的前提。 信息的度量性：信息可以度量，信息量有多少之分。 1.2 香农信息