熵与平均互信息.pptxVIP

1;随机变量X的取值xi为信源发出的消息 i=1,2,…,N;例1;2、自信息;以bit为单位的自信息;例2;3、熵/无条件熵;反映信源每发出一条消息所提供的平均信息量 一般不等于信源发出某条特定消息所提供的信息量 一般不等于每接受一条消息所获得的平均信息量;例3;4、熵的主要性质和最大熵定理;严格上凸性的描述——设函数f(x)对任一小于1的正数α及定义域中任意两个值x1、x2，如果;第11页/共85页;第12页/共85页;第13页/共85页;③最大熵定理;第15页/共85页;例4;时，H(p)=0.811(bit);2.2 联合熵与条件熵;第19页/共85页;2、联合自信息与条件自信息;定义;联合熵——信源各消息联合自信息的数学期望，用H(X1X2…Xn)表示;反映信源每发出一条消息所提供的平均信息量 一般不等于信源发出某条特定消息所提供的信息量 一般不等于每接受一条消息所获得的平均信息量;例1;条件熵——信源各消息条件自信息的数学期望，用H(Xk/X1…Xk-1)表示;第26页/共85页;4、联合熵的链式法则;第28页/共85页;例2;第30页/共85页;第31页/共85页;第32页/共85页;第33页/共85页;5、联合熵的界;第35页/共85页;第36页/共85页;第37页/共85页;第38页/共85页;2.3 平均互信息;;1、单符号离散信道;随机变量X的取值xi为信源发出的消息 i=1,2,…,N;;第44页/共85页;例1;2、互信息;定义;3、平均互信息/交互熵;反映信宿每收到一条消息所含信源一条消息的平均信息量 一般不等于信宿收到某条特定消息所含信源某条特定消息的信息量;例3;第51页/共85页;4、平均互信息的意义;条件熵H(X/Y)——用反信道矩阵形式表示的信道给出的平均信息量——损失熵;;第55页/共85页;第56页/共85页;5、平均互信息的主要性质;②非负性;④严格凸性;平均互信息及p-I(X;Y)和q-I(X;Y)曲线;第61页/共85页;信道固定时q为常数，作p-I(X;Y)曲线;信源固定时p为常数，作q-I(X;Y)曲线;2.4 联合平均互信息与条件平均互信息;第65页/共85页;X1X2…Xn;2、联合互信息与条件互信息;表示;定义;表示;第71页/共85页;第72页/共85页;3、联合平均互信息与条件平均互信息;第74页/共85页;条件平均互信息——条件互信息的数学期望，用I(Xk;YL/X1…Xk-1Y1…YL-1)表示;第76页/共85页;第77页/共85页;第78页/共85页;4、联合平均互信息的链式法则;第80页/共85页;第81页/共85页;第82页/共85页;第83页/共85页;第84页/共85页