信息论与编码(第二版)陈运主编课件第二章-(2).ppt

信息论与编码InformationTheoryandcoding电子信息工程系内蒙古工业大学上次课内容复习思考题解答问题的引出哪个信源的不确定度小？X的不确定度小，X中a1出现的可能性。信源熵熵条件熵联合熵信源熵已知单符号离散无记忆信源的数学模型信源熵1信源熵各离散消息自信息量的数学期望，即信源的平均信息量。（2.1.16）信源的信息熵；香农熵；无条件熵；熵函数；熵。

单位：比特/符号。（底数不同，单位不同）例[2.1.3]由式(2.1.16)的定义，该信源的熵为继续讨论上一节的例题，即某地二月份天气构成的信源为信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定度。信源熵H(X)反映了变量X的随机性。123信源熵的意义H(X)=0.08bit/sign,H(Y)=1bit/sign,说明X的不确定小。信源熵与信息量的比较信源的平均不确定度消除不定度得到信息与信源是否输出无关接收后才得到信息确定值一般为随机量有限值