CH2离散信源和其信息测度.ppt

1.3.1单符号信源与多符号信源 单符号信源 信源的输出是单个符号的消息，可用一维随机变量X来描述。如投硬币等 多符号信源 信源的输出不是单个符号的消息，而是一系列符号组成的序列，可用多维随机变量序列来描述: 若信源的输出在时间上可用随机序列来描述: 且随机序列的各维分布与时间起点无关，也就是从任意时刻开始，随机序列的各维分布都是相同的，则称该信源为平稳信源。否则为非平稳信源。根据出现的符号数是否可数，也有连续与离散之分。 若Xi（i=1,2,3,…）独立同分布，则显然是平稳信源。 1.3.5 无记忆信源与有记忆信源 1.3.6离散无记忆信源的N次扩展 若信源的输出为 ，且每个分量 Xi是都取自同一离散信源X，相互间是独立的，则称随机矢量 组成的新信源为离散无记忆信源X的N次扩展信源，记为XN 。 若离散无记忆信源的概率空间为 1.3.7 波形信源 2. 离散信源的信息熵 2.1自信息量 信息的度量：收到消息后不确定性的减少量 收到某消息获取的信息量＝收到消息前关于某事件发生的不确定性－收到消息后对某事件发生的不确定性 在无噪声信道，收到消息后对某事件发生的不确定性为0，收到某消息获取的信息量＝收到消息前关于某事件发生的不确定性＝信源输出某消息所含的信息量（