信息论第一章(叶中行).pptxVIP

信息论基础; 绪论 第1章 随机变量的信息度量 第2章 随机过程的信息度量和渐近等分性 第3章 数据压缩和信源编码 第4章 数据可靠传输和信道编码 第5章 限失真信源编码和率失真函数 第6章 连续信源和信道编码理论 ;绪论;信息论研究的主要内容;;3. 信道 信息传输和存储的媒介;第1章 随机变量的信息度量;§1.1 自信息;;自信息满足的公理;;;§1.2 熵、联合熵、条件熵;;;;第17页，共92页。;第18页，共92页。;第19页，共92页。;;;;第23页，共92页。;;;§1.3 相对熵和互信息;第27页，共92页。;第28页，共92页。;第29页，共92页。;;;第32页，共92页。;第33页，共92页。;;第35页，共92页。;;;;第39页，共92页。;;;§1.4 信息量的一些基本性质;第43页，共92页。;;第45页，共92页。;第46页，共92页。;;第48页，共92页。;;;;;§1.5 广义熵;;;;;;;习题课;;;;;;;;;;第70页，共92页。;1/3;;;第74页，共92页。;;第76页，共92页。;;第78页，共92页。;;第80页，共92页。;;;第83页，共92页。;第84页，共92页。;;;第87页，共92页。;第88页，共92页。;;;;