信息论与编码9、10.pptVIP

第1章 信源与信息熵 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1…Xi…Xn) 连续(模拟)消息，未知量，它可用随机过程来描述： X(t) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。 信息、消息和信号是既有区别又有联系的三个不同的概念。 消息中包含信息，是信息的载体。 信号携带着消息，它是消息的运载工具。 信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 而信号则是抽象信息在物理层表达的外延； 消息则是抽象信息在数学层表达的外延。 同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。 同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。 离散序列信源 实际信源不可能仅发送单个符号，而是发送一组符号，即一个随机序列，如电报、数字语音、数字图像等。 离散序列信源 离散无记忆信源 1.2 离散信源的信息熵 1.2.1信息熵和信息量的基本概念 1.2.2熵的数学性质 自信息量的性质 联合自信息量 条件自信息量 自信息量不能作为信源的信息测度 信源的概率空间描述 平均自信息量－－信息熵 平均不确定性 信息熵和信息量 信息熵是信源平均不确定性的度量，是从统计特性上对信源的描述，可以理解为信源输出的信息量 信息量一般是对接收者而言的，是指接收者从信源所获得的信息的度量。 如果通信传输中没有干扰，则接收者获得的信息量就等于信源的信息熵，但两者概念不同。 定理1-2-2：熵函数的极值性 定理1-2-2：熵函数的极值性 小结 离散信源 1.2.2 信源熵的基本性质和定理 熵函数的性质：1.对称性 当概率矢量P＝(p1,p2,…,pn)中的各分量的次序任意变更时，熵值不变。 该性质说明信源的熵仅与信源总体的统计特性有关。如果统计特性相同，不管其内部结构如何，其信源熵值都相同。 例，A,B两地天气情况的平均自信息量为: H(A)=H(B)=1.75bit =1/2log2+1/4log4+2/8log8 1/4 1/8 1/8 1/2 地域B 1/8 1/8 1/4 1/2 地域A 冰雹 雨 多云 晴 熵函数的性质：2.非负性 非负性 其中，等号成立的条件是当且仅当对某i，pi=1,其余的pk=0(k i)。 即，信源U虽然有不同的输出符号，但它只有一个符号必然出现，而其它符号都不可能出现，那么，这个信源是一个确知信源，其信源熵等于零。 熵函数的性质：3.确定性 信源U中只要有一个事件为必然事件，则其余事件为不可能事件。此时，信源U中每个事件对熵的贡献都为零，因而熵必为零。 熵函数的性质：4.扩展性 证明： 所以通过熵函数的定义可以证明上式成立。 含义：若信源U有n个事件，另一个信源V有n+1个事件，但U和V集的差别只是多了一个概率接近于零的事件，则两个集的熵值一样。 换言之，一个事件的概率与其中其它事件的概率相比很小时，它对集合的熵值的贡献可以忽略不计。 熵函数的性质：5.递推性 其中 证明：设p=p1+p2, q=p2/(p1+p2), 则p1=p(1-q),p2=pq 含义：信源U有n个事件，可以把其中的任意两个事件合并，得到有n－1个事件的集合的熵；反之亦然 熵函数的性质：6.可加性 如果有两个信源U和V，它们不是相互独立的，则联合信源的熵等于U的熵加上当U已给定时V的条件概率定义的熵的统计平均值，即 当U和V相互统计独立时，则有 * * 什么是信息？ 信息、消息和信号 1.1 信源特性与分类 通信的根本问题是将输出的信源在接收端尽可能精确地复现出来，所以需要讨论如何描述信源的输出，即如何计算信源产生的信息量。 信源的概念 信源－信息的发源地，如人，生物，机器等等。 由于信息是十分抽象的东西，所以要通过信息载荷者