信源熵演示文件修改版.ppt

概率的定义 概率的性质 条件概率 乘法定理 全概率公式与贝叶斯公式 全概率公式 贝叶斯公式 事件的相互独立性 重要定理及结论 随机变量 离散型随机变量的分布律 两点分布 二项分布 泊松分布 随机变量的分布函数 连续型随机变量的概率密度 均匀分布 指数分布 正态分布(或高斯分布) 二维随机变量 二维随机变量的分布函数 二维离散型随机变量的分布律 二维连续型随机变量的概率密度 边缘分布函数 离散型随机变量的边缘分布 连续型随机变量的边缘分布 随机变量的条件分布 随机变量的相互独立性 二维随机变量的推广 随机变量函数的分布 离散型随机变量的数学期望 连续型随机变量的数学期望 随机变量函数的数学期望 数学期望的性质 二维随机变量的数学期望 方差的定义 方差的计算 方差的性质 协方差与相关系数的定义 协方差的性质 相关系数定理 离散信源的进一步分类： 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源所发出的各个符号的概率是有关联的。这种概率关联性可用两种方式： 消息a1(晴)的自信量是:I(a1)=-log2p(a1)=1bit; 而: [例2.2.3] 设信源符号 X∈{x1, x2, x3} ，信源所处的状态S∈{e1, e2, e3, e4, e5} 。各状态之间的转移情况由图2.2.1给出。 将图中信源在ei状态下发符号xk 的条件概率p(xk /ei)用矩阵表示 由矩阵看出： 将图中信源在ei状态下发符号xk 的条件概率p(xk /ei)用矩阵表示 由矩阵看出： 由图中可得状态的一步转移概率： 该信源满足马尔可夫信源定义。 (只与相邻状态有关,从图和转 移矩阵可以看出) [例2.2.4] 二元2阶马尔可夫信源(n=2,m=2)，原始信号X的符号集为{X1=0, X2=1}，其状态空间共有nm=22=4个不同的状态e1,e2,e3,e4，即 E：{e1=00,e2=01,e3=10,e4=11}. 状态转移图见图所示。 解： p(e1/e1)= p(x1/e1)=p(0/00)=0.8 p(e2/e1)= p(x2/e1)=p(1/00)=0.2 p(e3/e2)= p(x1/e2)=p(0/01)=0.5 p(e4/e2)= p(x2/e2)=p(1/01)=0.5 p(e1/e3)= p(x1/e3)=p(0/10)=0.5 p(e2/e3)= p(x2/e3)=p(1/10)=0.5 p(e3/e4)= p(x1/e4)=p(0/11)=0.2 p(e4/e4)= p(x2/e4)=p(1/11)=0.8 其它为0 由二元信源X∈{0,1}得到的状态空间(e1,e2,e3,e4)和相应的一步转移概率构成的2阶马尔可夫信源模型为 由(可看作全概率公式): 求出稳定状态下的p(ej) ，称为状态极限概率。 将一步转移概率代入上式得 p(e1)=0.8 p(e1)+0.5 p(e3) p(e2)=0.2 p(e1)+0.5 p(e3) p(e3)=0.5 p(e2)+0.2 p(e4) p(e4)=0.5 p(e2)+0.8 p(e4) 解方程组得 p(e1)= p(e4)=5/14 p(e2)= p(e3)=2/14 计算极限熵 连续信源可分为单变量连续信源和多变量连续信源； 单变量连续信源可看作是取值连续的随机变量； 可用密度函数、联合密度和条件密度描述。 任一连续信源的熵功率定义为： 其中H(X)为该连续信源的熵。 离散信源的无失真编码约束条件: 为实现完全无失真编码，信道基本符号数目m,码字长度K,与编码器输入的离散消息数目M之间，必须存在下列约束条件： mK=M 即用K个m进制信道基本符号进行全排列所得的结果不能小于编码器输入的消息数目。 例：已知离散信源输出8个符号， 即X={A,B,C,D,E,F,G,H}，信道基本符号集合M={0,1},即m=2。为了保证信源编码的无失真，求出每个代码的最小长度K，并写出相应的各个代码组。 设离散无记忆信源X有n个符号，每次发出L符号序列表示一条消息。同时编码信道的基本符号有m个（m进制），信源编码器的输出代码组长度为K。为了保证信源编码器生成的码字是唯一可译要满足： mK=nL (nL为扩展信源消息数) 或者 Klo