信息论与编码实验报告.docxVIP

NANCHANG UNIVERSITY 信息论与编码实验报告 （2018年 11 月 27 日） 学 院：信息工程学院系电子信息工程系 专业班级： 学生姓名： 学号： 指导教师： 目录 实验一 自信息量和熵源 实验二 准对称信道容量 实验三 费诺不等式 实验四 香农编码 实验五 费诺编码 实验六 霍夫曼编码 实验一自信息量和熵源 实验要求 1、 画 出 =层的函数图； 2、 画 出 H(p)=-p?-(1-p)〕“小 门函数图。 二、 实验原理 及理论分析 自信息量： 一个事件的自信息量就是对其不确定性的度量。 直观地把自信息量定义为 收到某消息获得的信息量=不确定性减少的量。而事件x发生的不确定性与事件 发生的概率q(x)有关，概率越小，不确定性越大。定义 l(x)=-logq(x)。 熵(平均自信息量)： 实际信源包含许多消息X=(x1,x2,…)，因此需要考虑整个信源自信息量的 统计平均值。无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均 值，即平均自信息量 H(X)定义为H(X)=， ： ■，简称熵。H(X)是唯一 确定集合X中任一事件 曲=12…)所需要的平均信息量，反应了 X中事件哲出 三、现的平均不确定性。 三、 实验结果 4 F tgiLir? *] 文啊D 庄TRZi it面卫)虜口幽 酸fife世D □ U d X-