信息论离散信源.pptVIP

* * * * 状态转移图的例子 例3.5.3 二进制二阶马尔可夫信源 二阶：N=2，qN=4，即有4个状态 00、01、10、11。 根据条件概率，可画出状态转移图 状态转移概率为 p(S1|S1)=p(S4|S4)=0.8 p(S2|S1)=p(S3|S4)=0.2 p(S3|S2)=p(S1|S3)=p(S4|S2)=p(S2|S3)=0.5 状态转移矩阵为 3.6 信源的相关性 H(XN|X1,…, XN-1)≤H(XN-1|X1,…, XN-2)≤H(XN-2|X1,…, XN-3)≤…≤H(X2|X1)≤H(X1) 输出符号等概率分布时，熵最大，记H0=log q。 因此：H0≥H1≥H2≥H3≥H4≥…，这就是信源的相关性。 含义：由于信源符号间存在依赖关系，信源输出的符号越多，信源熵（不确定性）越小。 本章小结 信源的数学模型：用概率描述 离散无记忆信源：各个符号之间相互独立 无记忆信源的扩展信源：定义、扩展信源的熵 离散平稳信源：每个符号出现的概率与时间无关 马尔可夫信源：马尔可夫链、马尔可夫信源 信源的相关性 几个概念：无记忆、有记忆、有限记忆、平稳、时齐、稳定 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 第3章 离散信源 3.1 信源的数学模型及其分类 信源是