信息与编码复习要点.docVIP

信息与编码复习要点 2011.12 信息的定性描述 信息传输的基本要求：有效性 可靠性 有效性——信息传输的速度。 可靠性——信息传输的质量。 信息系统模型：信源 信道 信宿 噪声源 信源编码和解码：有效性，去除冗余 信道编码和解码：可靠性，添加冗余 信息 消息 信号 信息论 香农信息论 信息的定量描述 信息量 自信息量 条件自信息量 联合自信息量 互信息量 平均信息量——熵 离散信源：自熵 条件熵 联合熵 互熵 连续信源：自熵 条件熵 联合熵 互熵 互熵的性质：非负性 互易性 互熵和自熵和条件熵及联合熵关系 熵不增性原理 信源的最大熵： 离散信源的最大熵 连续信源的最大熵：峰值功率受限，平均功率受限 [香农定理] 若信源的信息速率R小于或等于信道容量C，那么，在理论上总存在一种方法，使信息能够以任意小的差错概率通过该信道传送。当R＞C时，信息在信道中传输，总要有一定误差，疑义度不会比（R－C）更小。 （一） 概率公式： 1. 概率乘法公式： p(xy)= p (x) p (y/x)= p (y) p (x/y) 当且仅当x, y相互独立时, p(xy)= p(x) p(y) 2. 全概率公式： 3. 逆概率公式： （二） 信息论公式 1.（自）信息量：I(x) = －log p(x) （自）熵： 2. 条件信息量：I(x/y)