信息论与编码.pptVIP

第2章 信源与信息熵 ??2.1 信源的描述与分类 ??2.2 离散信源熵和互信息 ??2.3 离散序列信源的熵 ??2.4 连续信源的熵和互信息 ??2.5 冗余度 2.2.1 自信息量（串联电路引入） 自信息量 I(xi)=-log p(xi) 自信息量是信源符号不确定性的度量 符号xi出现的概率p(xi)越大，符号的不确定度越小，接收者收到该符号后获得的信息量越小 符号的不确定度在数量上等于它的自信息量，但是二者的含义不同： ? 不确定度是信源符号所固有的，与符号是否发出无关 ? 自信息量是信源符号发出后给予接收者的信息量，是为消除该符号的不确定度，接收者需要获得的信息量 2.2.1 自信息量 自信息量的单位 1. 比特（bit）：自信息量表达式中的对数底数 为2，记作lb，即log2 2. 奈特（nat）：自信息量表达式中的对数底数 为e，记作ln，即loge 3. 笛特（det）：自信息量表达式中的对数底数 为10，记作lg，即log10 1nat=lbe≈1.443bit 1det=lb10 ≈3.322bit 2.2.1 自信息量 自信息量的性质 1. p(xi)=1，I(xi)=0； 2. p(xi)=0，I(xi)=∞； 3. 非负性：I(xi) ≧0； 4. 单