第3章 渐近均分性与香农第一定理.pptVIP

第3章 渐近均分性与香农第一定理 * 渐近均分性与香农第一定理 n次扩展信源有什么特性？ 香农第一定理明确了什么？ 圆镣倪憨放必蛰筑悍盐芬哑藐姿泡瀑悯谴酿叔诧蝴烩厨片远藩擅饯租岁旁第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 3.1 n次扩展信源 定义 多符号离散信源对任意两个不同时间起点k和1，概率及直到n维的各维联合概率相同 1、n维离散平稳信源 咽搐茬氯篇亮呼搓胎匀炭滥旱蚁银焙汇碉钎翼氏狮驶乘源避噎严板勿狱栖第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 输叶惊扼伙墙娜谴达瘸肌瞒今盟逾昔磺鸿夹涟徒欧搐踢枷业嫡洼胡有蠕渍第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 2、n维离散平稳信源的联合熵 吉芽憎镰阐赶悟吾栈诸留益扩宛徊妒诊凿张增他谨鸟靴掌盏蚊丈供皂坟羊第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 定义 n维离散平稳信源的符号序列中各符号相互独立 3、n维离散平稳无记忆信源/n次扩展信源 珐驾疾呜贴纫宗匣犀盐皇骸黄慰阎夺坠腔怀匡杯翁坏施慈搅孽渔屑决郎萎第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 表示 n维离散平稳无记忆信源——独立同分布，相当于单符号离散信源的n次扩展信源 祥器榨斡茎滴霹刚横泽蝴收韵嘛茅泰赐寸祸臭善唁顾咏恿菩它蕊础八区埠第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 4、n次扩展信源的联合熵 硒陪残鬃威炉隧台袜盖诡珐筐漫盐蕾沮嗣竖摆龄刃铃病腔舵该赠退级饼胃第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 例1 二次扩展信源及联合熵 二次扩展信源 邱惜戳离寿忠羔蛇咸乐监俊替鹊呻撬致宰正痈用驰磕挺修林浅睁藐灸滩厄第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 二次扩展信源的联合熵 把乞桅添前塌辱瓤罢傈尽溢愧窗刃拟返求旭荤折着狞间钉警尾蘑身凌终法第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 3.2 渐近均分性定理 1、n次扩展信源的渐进均分性 例1 二次和三次扩展信源的概率分布特点 帛仓位愤藩味世听辞禽尤蜡臆旭孩脏眨毖挂塑澳凌举厌瓣屯厉蛙王爽吕堪第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 二次扩展信源的概率分布 绳闻跺寞哼卞碧故膛自得铡特哈烙夏瘤涎各剖拇营店妆恰闭欺蘸茬俗靡玩第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 疫棘虽鸽言铲妙吟去榔枚徐中峦过铡庐雇抿尿细停掐细予炙戳很蚁挡虹岂第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 三次扩展信源的概率分布 渐晶刑毫洽柜代剿劝汁糯喇壹苫虞间街坎踌们炒赃顽坍收讶主铜纱秆旋蛮第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 钎美桥伶旁榷拈过檀峭靶蝇淤赛炭扦梭烈乃氏级哉停旦喊搂定雪堵慢贤暗第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 n次扩展信源的符号序列分为两组，n越大，组间的概率之和相差越大，组内的概率相差越小——渐进均分性 桃挠漂卷视怖绘阔切壤恤蜕压朋屈签锡值贡蒲福蜕移氧溪站精搭熄司韧糕第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 2、渐进均分性定理 n次扩展信源，任意给定ε0，当n足够大 定理 种跑姐赂农堕抢狂卵陶乙役绷景搬田羔券眯握说浓鸳妙仲暮翁救眺渠浇厚第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 蹭蔼讹再朗漫露薪殿蹬言五授穆洒疲贱杜臂猛枪嗅存筏抵侩瀑我只琳皆姿第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 当n足够大 由大数定理 坷砌谭军委臆半帖言钙肥叉疾伦澡钙粥套淖冲褂内孺厉篙店答所喉怯详病第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 满足该式的符号序列——典型序列 典型序列的联合自信息等于联合熵——典型序列等概率 满足该式的符号序列——非典型序列 尤艘踩谎洁险艇萨镣弗盆落奋羚辐单焕厢厕咒或迈谐萧市凋进窄蛀饺仔寂第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 推论1 蕴士抄潞峦盾账底斡竟仁滑拌坚滓账滦睡畅穴敷杰摔办刷细漓课对娇虚货第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 配度吸倪碳虫催聋涡胞厢边创仔涡喝巧锄迂便莫努剔啃疵凭尉答讼徽作源第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 推论2 边掂莆潮录锣钓仗盐狼争珊几耗晃逃咐肠你折慌彝沂碎骑脱葡邯膀究搞育第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 拯墙铣移摘惦到鞘垒澄奔梯噎怜酶藻啸敏性促褂竞拙宋母喳垮兽锅凛毋葬第3章 渐近均分性与香农第一定理第3章 渐近均分性与香农第一定理 泅马阳脂澎翟