息论和编第2讲.ppt

* 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 联合自信息、条件自信息与自信息间的关系： 独立： 推广： * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 例1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号； （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为 （2）条件（自）信息量为 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 例2. 一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 哪个信源的不确定度小？ X的不确定度小，X中a1出现的可能性大。 猜猜天气？ * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 2 单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定义的随机 变量I的数学期望为信源的信息熵，单位为比特/符号 信源的信息熵；香农熵；无条件熵；熵函数；熵。单位：比特/符号。（底数不同，单位不同） * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 由式(2.1.16)的定义，该信源的熵为 * 离散信源熵和互信息 * /59 信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。 信源熵H(X)表示信源输出前，信源的平均不确定度。 信源熵H(X)反映了变量X的随机性。 1 2 3 H(X)=0.08bit/sign,H(Y)=1bit/sign, 说明X的不确定小。 信源熵的意义 2.2 离散信源熵与互信息 * 离散信源熵和互信息 * /59 信源熵与信息量的比较 信源的平均不确定度 消除不定度得到信息 与信源是否输出无关 接收后才得到信息 确定值 一般为随机量 有限值 可为无穷大 熵 信息量 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 定义：对于给定离散概率空间表示的信源所定义的随机变量I(x|y)，在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列 3 离散信源条件熵 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 4 离散信源联合熵 定义：对于给定离散概率空间表示的信源所定义的随机 变量I(x,y)的数学期望为集合X和集合Y的信源联合熵， 单位为比特/序列 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 XY独立： 推广： 联合熵、条件熵与熵的关系 * 离散信源熵和互信息 * /59 【例】 为求条件熵，先求联合概率 X Y 0 ? 1 0 1/2 1/6 0 1 0 1/6 1/6 2.2 离散信源熵与互信息 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 Y的概率分布 Y 0 ? 1 P(y) 1/2 1/6 1/3 条件概率: (符号x的后验概率) 略 联合熵： * 离散信源熵和互信息 * /59 有扰信道C 信源X 信宿Y 噪声 如果信道是理想的，发出xi收到xi则所获得的信息量＝ xi 的不确定度＝I(xi) ； 如果信道不理想，发出xi收到yj,由yj推测xi的概率， 2.2 离散信源熵与互信息 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 5 单符号离散信源互信息 定义：对于给定离散概率空间表示的信源，在出现y事件 后所提供有关事件x的信息量定义互信息，单位为比特 * 离散信源熵和互信息 * /59 【例】某地二月份天气构成的信源为 “今天不是晴天”作为收到的信息b1，计算b1 与各天气之间的互信息量。 例题 2.2 离散信源熵与互信息 * 离散信源熵和互信息 * /59 今天不是晴天。把这句话作为收到的信息 当收到 后，各种天气发生的概率变成后验概率。其中 2.2 离散信源熵与互信息 * 离散信源熵和互信息 * /59 2.2 离散信源熵与互信息 * 离散信源熵和互信息 * /5