2 第二章 单符号离散信源.pptVIP

Source Channel Noise Destination Information Theory Chapter 2 单符号离散信源 概率复习 2.1 信源的数学模型 一般单符号离散信源的数学模型 离散信源只涉及一个随机事件，可用离散随机变量来表示。 单符号离散的数学模型 X，Y，Z代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。不可混淆! 自信息量函数： I(ai)=f[p(ai)]=-log p(ai) 自信息量 Information I(ai) of ai must be function of ai’s uncertainty such as P(ai)；It can be expression as I(ai) =f[P(ai)] ； If P(ai)=0, I(ai)=∞; If P(ai)=1, I(ai)=0; If P(a1) and P(a2) are independent then I(a1a2)= I(a1)+ I(a2) 2.3 信源的信息熵 自信息量函数的不足 信源熵 定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。 公式： 熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定度的度量。 单位：以2为底，比特/符号 Entropy Probability Random variable Discrete/continuous Signal space Complete signal set 小结：信源熵H(X)的三种物理含义 表示信源输出后，每发一个符号提供的平均信息量； 表示信源输出前，信源的平均不确定度。 反映了变量X的随机性。 2.4 信息熵的代数性质 熵函数H(p1，p2，…，pr)的性质 1、对称性： 2、非负性 3. 确定性： 4. 连续性： 5. 扩展性： 6. 可加性： Statistical independent Statistical average Joint probability Joint probability density function n-dimensional Joint probability density function Mean / Mathematical expectation Variance 2.5 信息熵的解析性质 1. ∩ 型凸函数的基本性质 2. 熵函数的极值性： 3. 熵函数的上凸性： 2.6 信息熵的最大值 1. 一般离散信源的最大熵值： 2.7 熵函数的公理构成 1．信源空间[X?P]中的概率分布pi (i＝1，2，…，r) 的微小变化，不应引起熵函数H(pl，p2，…，pr)的 巨大变化．为了数学上的方便，我们可合理地 要求H(pl，p2，…，pr)是pi(i＝1，2，…，r)的连 续函数； 2．如信源发出r种不同符号的概率相等，即 p1=p2＝…＝pr＝1/r，则信源的不确定性程度仅仅是信源符号种数r的函数H(1/r，1/r，…，1/r)，且当r增大时，信源的不确定性程度也应随之增大．所以，等概信源的熵函数H(1/r，1/r，…，1/r)是符号种数r的单调递增函数； 3. 熵函数必须满足递推性质，即 2.8 加权熵 1．1 同时掷一对均匀的骰子，试求： (1)“2和6同时出现”这一事件的自信量； (2)“两个5同时出现”这一事件的自信量； (3)两个组合的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信量。 作业： P61: 1.5 1.6 1.11 1．5 设信源X的信源空间为 求信源熵，并解释为什么H (X) log6，不满足信源熵的极值性。 1.6 为了式电视图像获得良好的清晰度和规定的对比度，需要用 个像素和10个不同的亮度电平，并使每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概出现。求传递此图像所需的信息率(bit/s). 熵函数：最大值、上凸性→ 最大值就是极大值 拉格朗日乘子法： （1）设辅助函数： （2）对pi(i=1,2,…,r)偏导数置为0，得到r个稳定方程 （3）1+ln pi=λ ln pi=λ -1 pi=eλ -1 （4）约束条件：