离散信源的信息熵.pptVIP

电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 2.2 离散信源的信息熵 信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每次只输出一个消息。 离散信源的数学模型： 式中， 2.2.1 自信息 问题的提出: 每个消息携带多少信息量？ 整个信源能输出多少信息量？ 信源发出的消息是随机的，具有不确定性，收信者收到消息后，才能消除不确定性获得信息。 如果某一消息发生的不确定性越大，一旦发生，获得的信息量就越大。 不确定性的消除是一个从“不知-知”的过程，在此过程中，收信者获得足够的信息量。 消息发生的不确定性和发生的概率有关，消息发生的概率越小，则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为消息ai 的自信息量。 ????? 2.2 离散信源的信息熵 2.2.1 自信息信息量的度量方法 自信息量I(x) 是 P(x) 的单调递减函数 P(x) ?，I(x) ? ； P(x) ? ，I(x) ?； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ?； 两个独立事件的联合信息量应等于它们