1-2 信源熵及其性质.pdf

通信的基本问题，是在通信系统的一端精确地或者近似地复现另一端选择的消息 概念 消息：由信源发出，具有随机性 信息量：消息所包含的不确定性的度量 信息的量化 1. 在南极大陆，今天的气温为-25°C 2. 在南极大陆，今天的气温为38°C 在一般情况下，这两条消息哪一条包含的信息量更大呢？ 一条消息所携带的信息量的大小，和它带给接收者的 “surprise”有关。 在数学上，我们可以用事件的发生概率来表示一个事件发生所引起的surprise。 信源符号集合： X x ,x ,,x  1 2 r 信源从时刻0开始发出的符号序列为： x (s s s ) s X 0 1 t t 信源中每个信源符号的发生概率： p Pr(x ) P(x )