信息论第二章离散信源与信息熵（上）.pptVIP

§2.2.自互信息与条件自互信息Ⅰ.解法一Ⅱ.解法二Ⅲ.解法三Ⅳ.解法四??§2.2.自互信息与条件自互信息§2.2.自互信息与条件自互信息Ⅱ.解法二§2.2.自互信息与条件自互信息Ⅲ.解法三Xn之间相互独立；但无法保证yn之间相互独立。§2.2.自互信息与条件自互信息Ⅳ.解法四？？§2.2.自互信息与条件自互信息§2.2.自互信息与条件自互信息显然，还有两种解法要比以上两种解法的概念清晰：解法一、§2.2.自互信息与条件自互信息解法二、§2.2.自互信息与条件自互信息Q.E.D.第二章.信息的度量与信息熵§2.3离散信源的信息熵(EntropyoftheDiscreteSource)单个消息事件的数学描述是随机变量(randomvariable)单个的消息序列的描述是随机矢量(randomvector),而消息集合——信源的数学描述就应是概率空间(probabilityspace)。因此，离散信源的数学模型就是离散概率空间。当信源输出的消息符号其取值是有限个种类，则这是离散型随机变量，此信源称离散信源，其数学模型为：一个消息事件的概率