第二章-单符号离散信源.pptVIP

小结：信源熵H(X)的三种物理含义 表示信源输出后，每发一个符号提供的平均信息量； 表示信源输出前，信源的平均不确定度。 反映了变量X的随机性。 一般，信息→ 消除不确定性→ H(X)为负熵 自信息量函数： I(ai)=f[p(ai)]=-log p(ai) 信源熵 熵函数H(p1，p2，…，pr)的性质 1、对称性： H(p1，p2，…，pr)= H(p2，p1，…，pr) =H(p3，p1，…，pr)=… [X ? P]= X： a1 a2 a3 P(X)： 1/3 1/6 1/2 [Y? P]= Y： a1 a2 a3 P(Y)： 1/2 1/3 1/6 [Z? P]= Z： b1 b2 b3 P(Z)： 1/6 1/2 1/3 H(1/3，1/6，1/2)= H(1/2，1/3，1/6)=H(1/6，1/2，1/3) 2、非负性 H(X)= H(p1，p2，…，pr) ≥ 0 3. 确定性： 若信源概率空间中任一概率pi=1 （i=1，2，…，r)，则 H(X)= H(p1，p2，…，pr)=0 4. 连续性： 5. 扩展性： 6. 可加性： 若信源X、Y相互间统计独立，则： H(XY)=H(X)+H(Y) 当信源X和Y之间统计独立，即： 这表明，当X和Y统计独立时，信源(XY)的熵，等于信源 X和信源Y各自熵之和． =H(X)+H(Y) 设信源X有三种不同符号，其信源空间为： 设事件B：(a2或a3)，则： 7. 递推性： 例2.6 利用递推性计算熵函数H(1/2，1/4，1/8，1/8)的值。 解： bit/信符 2.5 信息熵的解析性质 1. ∩ 型凸函数的基本性质 设函数f(x)，x1，x2为任意两变量 ∩ 则f(x)为∩ 型凸函数 （差为CD），即上凸型函数在弦的上方 设x是区间[x1,x2]中的任意一点，则 推广: 对于∩型凸函数f(x)来说，r个（任意正整数）变量的算术平均值，不小于r个变量函数的算术平均值。 结论拓宽到统计平均值的范畴： Source Channel Noise Destination Information Theory Chapter 2 单符号离散信源 概率复习 2.1 信源的数学模型 信宿 信道 信源 通信的简化模型 单符号 多符号 2. 离散 连续 1. 信源：随机符号的集合 ：信源由有限个或无限可列的符号组成 ：一个符号代表一个完整的消息 数学模型的建立： 例2.1 掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机实验的结果，并把实验结果看作一个信源的输出，试建立数学模型。 A：{1，2，3，4，5，6} ——状态空间 离散随机变量X P：{p(X=1)=1/6，p(X=2)=1/6，…， p(X=6)= 1/6} ——概率空间 信源的数学模型： [X ? P]= X： 1 2 3 4 5 6 P(X)： 1/6 1/6 1/6 1/6 1/6 1/6 信源空间 一般单符号离散信源的数学模型 离散信源只涉及一个随机事件，可用离散随机变量来表示。 单符号离散的数学模型 X，Y，Z代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。不可混淆! 2.2信源符号的自信量 [X ? P]: X: a1 a2 … ar P(X): p(a1) p(a2) … p(ar) ai bj 收到bj后，从bj获得关于ai的信息量 I(ai;bj) =[收到bj前，对ai存在的不确定性 -收到bj后，对ai存在的不确定性] ai ai 无 噪 收到ai后，从ai获得关于ai的信息量I(ai) =[收到ai前，对ai存在的不确定性] 公理性条件： (1) 如p(a1)p(a2)，则I(a1)