讲义21 - 第一章引论.docVIP

第二章 离散信源的熵 2-1离散信源的数学模型 2-1-1 单符号离散信源的数学模型 单符号离散信源是最简单的一种离散信源， ⑴离散信源特性：根据Shannon信息论的观点，信源要含有一定的信息，必须具有随机性，即有不确定性，可以用其概率来表示。 ⑵离散信源空间：信源的符号（状态）随机地取值于一个离散集合[X]=（x1,x2,…xn）中，一个离散信源可以用一个概率空间[P]=(p1,p2,…pn)表示。 这种表示称为离散无记忆信源的信源空间。信源空间必为一个完备空间，即其概率和为1。 ⑶信源数学模型描述的条件：用信源空间来表示信源的条件是信源符号（状态）的先验概率是可知的，这是Shannon信息论的一个基本假说。 2-1-2信源符号不确定性的度量 ⑴不确定性：只有不确定性存在，才有信息存在，获得消息后消除了不确定性才得到信息。在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。 ⑵不确定性的度量（不确定度）：猜测摸某一随机事件是否会发生的难易程度。 [例2-1]：从一个袋子里取出不同颜色小球的不确定性。 a.b. 50个红球，50个白球， c. 25个红球，25个白球，25个黑球，25个黄球， 可见，a的不确定性最小，b的不确定性为最大。 I(x1)=I(红球)，I(x2)=I(白球)，I(x3)=I(黑球)，I(x4)=I(黄球)， ⑶自信息量：在假设信道没有干扰（无噪声）的情况下，信源发出信源符号xi，接收者就会收到xi，这是接收者收到的信息量就等于信源符号xi本身含有的信息量（不确定度），称为信源符号xi的自信息量，记为I(xi)。 ⑷Hartly公式： 由上例可以看出： 信源不确定度的大小与信源的消息符号数有关；符号数越多，不确定度越大； 信源不确定度的大小与信源的消息符号概率有关；概率越小，不确定度越大；即，如果p(x1)p(x2)，则I(x1)I(x2) 信源不确定度应具有可加性； 同时应当满足：如果p(xi)=0，则I(xi)=∞，如果p(xi)=1，则I(xi)=0。 因此为了满足以上四个条件，应把信源不确定度写为对数形式： 可以看出信息度量用对数表示的合理性，通常取K=1。 2-1-3信源 ⑴自信息量的定义： 收信者收到一个消息状态得到的信息量，等于收到后对这个消息状态不确定度的减少量。即 I（信息量）=不确定度的减少量。 ⑵无噪声信道下的自信息量： 在假设信道没有干扰（无噪声）的情况下，信源发出信源状态xi，接收者就会收到xi，这是接收者收到的信息量就等于信源状态xi本身含有的信息量（不确定度），称为信源状态xi的自信息量，记为I(xi)。 这时，接收到xi所获得的信息量等于信源输出发出的信息量。 ⑶有噪声信道下的互信息量： 在有噪声信道下，信源发出的状态为xi，接收者收到的状态为yj，接收者收到yj后，从yj中获取到关于xi的信息量，就是信源发出xi后，接收者收到的信息量，称为互信息量。记为I(xi,yj)。（接收到yj后，信源实际发出xi时接收者所获得的信息量。）这时，由于噪声的干扰，接收者收到的信息量小于信源发出的信息量。 H(xi)为信源各状态具有的不确定性； H(xi/yj)为接收到一个yj后，信源各状态仍存在的不确定度； ▲收到yj后，信源状态xi的不确定性应有所变化。 [例2-2]：求 一次掷两个色子，作为一个离散信源，求下列事件产生后提供的信息两。 a.仅有一个为3； b.至少有一个为4； c.两个之和为偶数； 解：一个色子有6个符号，两个色子的总数（信源符号数）为36。 a. 事件样本数=5×2=10（另外一个不能为3） b. 事件样本数=5×2+1=11（加上一个双4） c. 事件样本数=6×3=18（第一个的6个符号分别与第二个的3个符号构成事件） 则：p(a)=10/36=5/18; p(b)=11/36; p(c)=18/36=1/2; I(a)=log(18/5)=1.848 (bit); I(b)=log(36/11)=1.7105 (bit); I(c)=log2=1 (bit); 2-2单符号离散信源的熵 2-2-1信源熵的概念 信源熵的定义：信源一个消息状态所具有的平均信息量。 离散无记忆信源的熵（独立熵）： 信源熵的推导： 得到第j个消息获得的信息量为Ij=log(1/p(xj)); 假设发出n个消息，其中有n.p(xj)个xj，其信息量为：In=n.p(xj).log(1/p(xj)) 发出后总的信息量则为 平均信息量为： H(X)表示信源发出任何一个消息状态所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。 ▲熵的物理意义： 熵的本意为热力学中表示分子状态的紊乱程度；