信息论与编码理论基础(第二章).ppt

第二章：信息量和熵;;非平均互信息量;非平均互信息量;直观认识;非平均互信息量;直观认识;直观认识;;非平均互信息量;非平均互信息量直观认识;非平均互信息量性质;非平均互信息量性质;条件互信息和联合事件互信息;互信息的可加性;非平均自信息量;非平均自信息量的直观认识;;;;条件的非平均自信息量;联合的非平均自信息量;非平均信息量（事件的信息量）;联合自信息、条件自信息和互信息;;;;;平均自信息量——熵;;;;平均自信息量——熵;平均自信息量——熵;图2.2.1 ;;;;;;;;条件平均自信息量（条件熵）;§2.2 离散型随机变量的平均自信息量（熵）;§2.2 离散型随机变量的平均自信息量（熵）;§2.2 离散型随机变量的平均自信息量（熵）;§2.2 离散型随机变量的平均自信息量（熵）;§2.2 离散型随机变量的平均自信息量（熵）;§2.2 离散型随机变量的平均自信息量（熵）;§2.2 离散型随??变量的平均自信息量（熵）;§2.2 离散型随机变量的平均自信息量（熵）;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;注意：①事件对(xk, yj)的“非平均互信息量”值为I(xk; yj)。②此外，可以定义“半平均互信息量”I(xk; Y)和I(X; yj)。;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;§2.4 离散型随机变量的平均互信息量;§2.1 ~§2.4 诸概念直观理解;§2.2 和§2.4 中的若干公式;;事件互信息量;平均互信息量;平均互信息量性质;微分熵、相对熵;联合微分熵;例题;例题;例题;例题;例题;微分熵的极大化;微分熵的极大化;;凸函数;凸函数的性质;K-T条件;互信息的凸性;互信息的凸性;互信息的凸性;互信息的凸性;§2.6 凸函数与(离散型随机变量的)平均互信息量的凸性;§2.6 凸函数与(离散型随机变量的)平均互信息量的凸性;§2.6 凸函数与(离散型随机变量的)平均互信息量的凸性;习题课;习题课;习题课;习题课;习题课;习题课;[2.7的解答] (a)是求事件“来自本市”与随机变量“是否被录取”的半平均互信息量。 (b)是求事件“学过英语”与随机变量“是否被录取”的半平均互信息量。;各个边际分布;习题课;习题课;习题课;习题课;习题课;习题课;(XYZ)的联合概率分布为：P((XYZ)=(x,y,z))=1/216；x=1~6，y=x+1~x+6，z=y+1~y+6。(XY)的联合概率分布为：P((XY)=(x,y))=1/36；x=1~6，y=x+1~x+6。;习题课;Date;习题课;习题课;习题课;习题课;将以上的概率分布代入以下的计算公式：;习题课;Date;习题课;习题课;习题课;习题课;习题课;习题课;习题课;(b) P(接收的前两个数字为00) =P(发送的前两个数字为00)×P(接收的前两个数字为00|发送的前两个数字为00) +P(发送的前两个数字为01)×P(接收的前两个数字为00|发送的前两个数字为01) +P(发送的前两个数字为10)×P(接收的前两个数字为00|发送的前两个数字为10) +P(发送的前两个数字为11)×P(接收的前两个数字为00|发送的前两个数字为11) =P(发送ul或u2)×(1-p)2+P(发送u3或u4)×(1-p)p +P(发送u5或u6)×p(1-p)+P(发送u7或u8)×p2 =1/4;习题课;(c) P(接收的前三个数字为000) =P(发的前面为000)×P(收的前面为000|发的前面为000) +P(发的前面为001)×P(收的前面为000|发的前面为001) +P(发的前面为010)×P(收的前面为000|发的前面为010) +P(发的前面为011)×P(收的前面为000|发的前面为011) +P(发的前面为100)×P(收的前面为000|发的前面为100) +P(发的前面为101)×P(收的前面为000|发的前面为101) +P(发的前面为110)×P(收的前面为000|发的前面为110) +P(发的前面为111)×P(收的前面为000|发的前面为111) =P(发u1)×(1-p)3+P(发u2)×p(1-p)2 +P(发u3)×p(1-p)2+P(发u4)×p2(1-p) +P(发u5)×p(1-p)2+P(发u6)×p2(1-p) +P(发u7)×p2(