第2章熵与平均互信息146.pptx

第2章 熵与平均互信息;2.1 熵;2、单符号离散信源的熵;以bit为单位的自信息;求信源发出各消息所含的自信息;②信源的熵（无条件熵）;求信源的熵;3、熵的主要性质和最大熵定理;熵H(X)对于信源概率P(X)严格上凸;③最大熵定理;求信源的熵及p-H(p)曲线;p=0.75时，H(p)=0.811(bit);2.2 联合熵与条件熵;②多符号离散信源——信源发出的消息为n维符号序列，符号序列中任何一个符号都随机取值于同一个N元集合;①两个单符号离散信源——两个信源发出的消息都是单一符号，每个符号各自随机取值于N1元和N2元集合;②多个单符号离散信源——n个信源发出的消息都是单一符号，每个符号各自取值于N1元、N2元、以及Nn元集合;3、多符号离散信源的熵;②条件自信息;信源发出各消息所含联合自信息的数学期望，用H(X1X2)表示;信源发出各消息所含条件自信息的数学期望，用H(X2/X1)表示;求信源的联合熵;①联合自信息;②条件自信息;信源发出各消息所含联合自信息的数学期望，用H(X1X2…Xn)表示;信源发出各消息所含条件自信息的数学期望，用H(Xk / X1X2…Xk-1)表示，其中k = 2,3,…,n;4、多个单符号离散信源的熵;②条件自信息;两个信源同时发出各消息所含联合自信息的数学期望，用H(X1,X2)表示;两个信源同时发出各消息所含条件自信息的数学期望，用H(X2/