信息学概第章绪论.ppt

信息 输入 物质 某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关。如果不确定性的大小能够度量，那么信息也是可以测度的。 与信息测度相关的几个概念包括：样本空间、概率空间 、先验概率 、自信息 、后验概率 、互信息等。 样本空间：某事物所有可能选择的消息的集合（即该事物所有可能出现的不同状态）构成该事物的样本空间。每个可能选择的消息（或称一个事件）是这个空间的一个元素。 概率测度：对于一个离散的消息空间，为其中每一个消息选择一个概率，构成这个空间的一个概率测度。 1.2 香农信息概念 概率空间：一个样本空间X={a1, a2, …, aq}和它的概率测度P(X)={P(a1), P(a2), …, P(aq)}统称为一个概率空间，可用 [X,P] 来表示： 先验概率：选择符号 ai 作为消息的概率P(ai)称为先验概率。 自信息：在接收端，选择ai 作为消息（猜测事件ai发生）的不确定性与ai 作为消息的先验概率成反比，表示为 ： 称为ai的自信息。自信息描述了ai本身携带的信息量，与接收端无关。 1.2 香农信息概念 后验概率：接收端收到的消息(符号)为 bj ，而发送端发的是 ai 的概率 P(ai/bj)称为后验概率。后验概率反映了在接收端收到的消息(符号)为 bj 后，对于发送端发送的是ai ，尚存在不确定性。类似地，这种不确定