中北大学信息论实验报告.docxVIP

《信息论与编码》实验报告 姓名： 班级： 学号： 年 月 实验一：绘制信源熵函数曲线 一、实验目的 掌握离散信源熵的原理和计算方法。 熟悉 matlab 软件的基本操作，练习应用 matlab 软件进行信源熵函数曲线的绘制。 理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。 二、实验原理 离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 假定 X 是一个离散随机变量，即它的取值范围R={x ，x ，x ，…}是有限或可数的。设第i 个变量 x 发生的概率为 p =P{X=x }。则： 1 2 3 i i i 定义一个随机事件的自信息量 I（x ）为其对应的随机变量x 出现概率对数的负值。即： i i I（x ）= -log i 2 p(x ) i 定义随机事件 X 的平均不确定度H（X）为离散随机变量x 出现概率的数学期望，即： i H ( X ) ? ? p ( x i i  ) I ( x i ) ? ? ? p ( x i i  ) log p ( x ) i 单位为 比特/符号 或 比特/符号序列。 平均不确定度 H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源 X 的信源熵。 必须注意一下几点： 某一信源，不管它是否输出符号，只有这些符号具有某些概率