[信息与通信]现代通讯理论--第二章.ppt

现代通讯理论 第二章 概率和随机过程 2.1.1 随机变量、概率分布和概率密度 分布函数的例子： 概率密度函数p(x): 第二章 概率和随机过程 2.1.1 随机变量、概率分布和概率密度 如果x2x1 第二章 概率和随机过程 2.1.1 随机变量、概率分布和概率密度 多随机变量，联合概率分布函数和联合概率密度 累积分布函数 概率密度函数 边际分布密度函数 第二章 概率和随机过程 2.1.1 随机变量、概率分布和概率密度 多随机变量，联合概率分布函数和联合概率密度 其中 两个以上随机变量： 第二章 概率和随机过程 2.1.1 随机变量、概率分布和概率密度 条件概率分布函数，如在给定随机变量x2下的x1的pdf： 第二章 概率和随机过程 2.1.1 随机变量、概率分布和概率密度 统计独立随机变量 2.1.2 随机变量的函数 第二章 概率和随机过程 2.1.2 随机变量的函数 第二章 概率和随机过程 2.1.3 统计平均随机变量 均值和期望值（一阶矩） N阶矩（原点） 如果 中心矩 方差（variance） 多变量联合矩 (相关) 协方差 第二章 概率和随机过程 2.1.3 统计平均随机变量 正交性 ----不相关 特征函数： 特征函数的性质： 如果 第二章 概率和随机过程 2.1.3 统计平均随机变量 N维变量特征函数 第二章 概率和随机过程 2.1.4 一些常用的概率分布 二项分布 密度函数 分布函数 矩和特征函数： 第二章 概率和随机过程 2.1.4 一些常用的概率分布 均匀分布 矩及特征函数： 第二章 概率和随机过程 2.1.4 一些常用的概率分布 高斯（正态）分布 均值和方差： 分布函数：F（x）= 特征函数： 第二章 概率和随机过程 2.1.4 一些常用的概率分布 高斯（正态）分布 高阶矩： 如果： 其中 第二章 概率和随机过程 2.1.4 一些常用的概率分布 Chi-square分布:Y=X2，X是高斯分布，参见参考书 瑞利分布（Rayleigh）:x1和x2是相互独立的零均值高斯分布， 特征函数： 第二章 概率和随机过程 2.1.4 一些常用的概率分布 Rice 分布，参见参考书 Nakagami m分布： 多变量高斯分布 参见参考书 第二章 概率和随机过程 2.1.5 尾部概率上界 Chebeshev 不等式 如果X是任意的均值为mx，方差为σx随机变量，对任意的正数δ，有： 证明： Chebeshev 不等式确定的上界对许多实际应用来说过于宽松，Chernoff界则被认为是一个紧的界 第二章 概率和随机过程 2.1.5 尾部概率上界 Chernoff界 考虑单个尾部（ δ， ∞）的概率， 其中 ν≥0是待优化参数 第二章 概率和随机过程 2.1.5 尾部概率上界 Chernoff界 优化ν得到最小的 如果 是其解，则 相似的有： δ0 对非零均值随机变量 第二章 概率和随机过程 2.1.5 尾部概率上界 Chernoff界 过程类似零均值情况： 第二章 概率和随机过程 例：Laplace pdf: 取非小于零的解 而Chebeshev界为（设上、下尾部对称） 显然具有指数关系的Chernoff界是一个更紧的界 第二章 概率和随机过程 2.1.6 随机变量和与中心极限定理 随机变量的和 Xi，i=1，2，3，…,n是独立同分布的随机变量，均值为mx,方差为σx，均为有限值。 定义归一化随机变量和： 当n→∞时，σy n→0，则Y是均值mx的一致估计（consistent estimate） 第二章 概率和随机过程 2.1.6 随机变量和与中心极限定理 随机变量的和 弱大数定理（weak law of large numbers）,利用Chebeshev界： 利用Chernoff界： 第二章 概率和随机过程 2.1.6 随机变量和与中心极限定理 随机变量的和，利用Chernoff界： 第二章 概率和随机过程 例：Xi，i=1,2,…,n独立同分布随机变量。 mx=2p-10,取δm=0；利用Chernoff界 可见利用Chernoff界随着n的增加指数减少，而如果利用Chebeshev界则呈1/n减少 第二章 概率和随机过程 2.1.6 随机变量和与中