信息论第二讲-离散信源的熵.pptVIP

⑴离散信源特性： 根据Shannon信息论的观点，信源要含有一定的信息，必然具有随机性，即有不确定性，可以用其概率来表示。 ;⑵离散信源空间： 信源的符号（状态）随机地取值于一个离散集合[X]=（x1,x2,…xn）中，一个离散信源可以用一个离散随机变量的概率空间表示。[P]=(p1,p2,…pn) 这种表示称为离散无记忆信源的信源空间。 信源空间必为一个完备空间， 即其概率和为1。;⑶信源数学模型描述的条件： 用信源空间（离散随机变量）来表示信源的条件是信源符号（状态）的先验概率是可知的，这是Shannon信息论的一个基本假说。;信息的理解;⑴不确定性： 只有不确定性存在，才有信息存在，获得消息后消除了不确定性才得到信息。在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。 ⑵不确定性的度量（不确定度）： 不确定度应该等于猜测某一随机事件是否会发生的难易程度。;⑶Hartly公式： 信源不确定度的大小与信源的消息符号数有关；符号数越多，不确定度越大； 信源不确定度的大小与信源的消息符号概率有关；概率越小，不确定度越大； 信源不确定度应具有可加性； 同时应当满足：如果p(xi)=0，则I(xi)=∞，如果p(xi)=1，则I(xi)=0。 因此为了满足以上四个条件，应把信源不确定度写为对数形式： ;⑴自信息量的定义： 收信者收到一个消息状态得到的信息量，等于收到后对这个消息状态不确定度的减少量。 I（信息量）=不确定度的减少量。 ;⑵无噪声信道下的自信息量： 在假设信道没有干扰（无噪声）的情况下，信源发出信源状态xi，接收者就会收到xi，这时接收者收到的信息量就等于信源状态xi本身含有的信息量（不确定度），称为信源状态xi的自信息量，记为I(xi)。 这时，接收到xi所获得的信息量等于信源输出发出的信息量。;⑶有噪声信道下的互信息量： 在有噪声信道下，信源发出的状态为xi，接收者收到的状态为yj，接收者收到yj后，从yj中获取到关于xi的信息量，就是信源发出xi后，接收者收到的信息量，称为互信息量。记为I(xi,yj)。 接收到yj后，信源实际发出xi时接收者所获得的信息量。 由于噪声的干扰，接收者收到的信息量小于信源发出的信息量。;H(xi)为信源状态xi本身具有的不确定性； H(xi/yj)为接收到一个yj后，信源状态xi仍存在的不确定度；收到yj后，信源状态xi的不确定性应有所变化，这个变化量就称为信源状态xi的互信息量。;（1）信源熵的定义： 信源一个消息状态所具有的平均信息量。 离散无记忆信源的熵（独立熵）：;（2）熵的物理意义： 熵的本意为热力学中表示分子状态的紊乱程度； 信息论中熵表示信源中消息状态的不确定度； （3）信源熵与信息量有不同的意义； H(X)表示信源X每一个状态所能提供的平均信息量； H(X)表示信源X在没有发出符号以前，接收者对信源的平均不确定度； H(X)表示随机变量X的随机性； ;熵函数可以表示为：;性质4：连续性；性质5：扩展性；;Hmax(X)=H(1/n, 1/n,……,1/n)=logn 这个结果称为离散信源得最大熵定理。它表明，在所有符号数相同，而概率分布不同的离散信源中，当先验概率相等时得到的熵最大。最大熵的值取决于符号状态数，状态数越多，熵越大。;这时可求得离散信源得最大熵为;加权熵;⑴联合信源的概率空间： 联合信源可以认为有两个信源X，Y组成：; 联合信源 ;用这两个信源组成一个联合信源，其联合概率空间为：;⑵联合信源共熵的表达式： 联合信源的共熵：联合信源输出一个组合消息状态(xi,yj)所发出的平均信息量。 联合信源的独立熵： 将联合信源看成两个独立的信源（当然实际上可能并不是相互独立的）时，各自信源的熵即为独立熵。;⑶概率的基本关系： 当X，Y独立时，有p(x,y)=p(x)p(y)。;Date;2.3.1 联合信源的条件熵(Conditional Entropy);以上讨论的信源符号状态的自信息量和信源的熵是描述信源的特性，但是对于一个通信系统来说，最主要的问题是接收者收到信息的能力。在信源与接收者之间是由信道连接的，这里要开始讨论信道的问题。;设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示： 规定一个离散信道应有三个参数： 输入符号集：X={x1, x2, …. xn} 输出符号集：Y={y1, y2, …. ym} 信道转移概率： P(Y/X)={p(y1/x1),p(y2/x1),…p(ym/x1),……p(y1/xn)…p(ym/xn)};离散信道主要有三种描述方法。 ⑴概率空间描述 X={x1,x2,……xn} P(Y/X)={p(yj/xi)} (i=1,2,……n; j=1,2,……m)