信息与编码论第三.pptVIP

第三章：信源编码（一）离散信源无失真编码 §3.1 信源及其分类 §3.2 离散无记忆（简单）信源的等长编码 §3.3 离散无记忆（简单）信源的不等长编码 §3.4 最佳不等长编码 §3.1 信源及其分类 信源的概念 （直观地理解，信源就是信息的来源。但是这里必须要注意两点）： 在一个固定的时刻，信源发出的是一个随机变量。 随着时间的延续，信源发出的是一个随机过程。 （因此，一般的信源种类太多，其统计性质太复杂。怎样做工程实用的简化？） 离散信源 信源每隔一个定长时间段就发出一个随机变量；随着时间的延续，信源发出的是随机变量序列 …U-2，U-1 ，U0，U1 ，U2 ， … 其中 Uk为第k个时间段发出的随机变量； 每个Uk都是一个离散型的随机变量。 离散无记忆信源 离散无记忆信源是这样的离散信源：随机变量…、U-2、U-1、U0、U1、U2、…相互独立。 离散无记忆简单信源 离散无记忆简单信源是这样的离散无记忆信源：随机变量…、U-2、U-1、U0、U1、U2、…具有相同的概率分布。 （总结：离散无记忆简单信源就是时间离散、事件离散、各随机变量独立同分布的信源。课程学习所面对的信源将主要是离散无记忆简单信源） 一般的信源 连续信源：有时间连续的信源，也有事件连续的信源； 有记忆信源：信源在不同时刻发出的随机变量相互依赖； 有限记忆信源：在有限时