01单符号离散信源及其信息度量.docVIP

第1讲 单符号离散信源及其信息度量 信源分类及单符号离散信源的概念 时间 取值 举例 离散信源 离散 离散 文字 连续信源 离散 连续 测量身高 波形信源 连续 连续 自然语音 （未命名） 连续 离散 （难举例） 将离散信源做数学上的简化，只研究讨论其中的某一个时刻，就是单符号离散信源。 单符号离散信源的数学模型 用一个离散随机变量来描述一个单符号离散信源，即单符号离散信源的数学模型是一个概率统计模型：，其中n是一个大于1的正整数，称为该信源的元（如n=2时称为2元信源），称为信源符号集（或信源字母表），此集合中的每个元素称为信源符号，即是信源所有可能的输出符号集合，是信源符号的概率分布，其中的每个分量是信源符号的输出概率。 说明：以后为避免符号使用的复杂化，上面的可能表示三种含义：（1）信源；（2）信源符号集；（3）描述信源的随机变量。这可由上下文区分出来。当不关心信源的具体符号集而只关注其数量特征时，可直接用概率分布来表示一个单符号离散信源。 自信息（量） 定义 单符号离散信源的任一信源符号的自信息定义为该符号输出概率对数的负数，即（），表示信源输出一个符号时该符号所荷载的信息量。 1．对数的底 对数的底只要满足都具有合理意义，常用的是，其中最为常见，故把它作为信息计量时默认的底，即将简写成。 2．计量单位 用进行信息度量时，对数不同的底其数值计算