2024年信息论与编码实验报告.docx

NANCHANGUNIVERSITY

信息论与编码

试验汇报

（11月27曰）

學院：信息工程學院系電子信息工程系

专业班级：

學生姓名：學号：

指导教師：

目录

试验一自信息量和熵源

试验二准對称信道容量

试验三费诺不等式

试验四香农编码

试验五费诺编码

试验六霍夫曼编码

试验一自信息量和熵源

试验规定

画出I=-log2

画出H(p)=-plog2p-(1-p)

试验原理及理论分析

自信息量：

一种事件的自信息量就是對其不确定性的度量。直观地把自信息量定义為收到某消息获得的信息量=不确定性減少的量。而事件x发生的不确定性与事件发生的概率q(x)有关，概率越小，不确定性越大。定义I(x)=-logq(x)。

熵（平均自信息量）：

实际信源包括許多消息X=(x1,x2,…)，因此需要考虑整個信源自信息量的记录平均值。無记忆信源的平均自信息量定义為各消息自信息量的概率加权平均值，即平均自信息量H(X)定义為H(X)=-iqxilogq(xi)，简称熵。H(X)是唯一确定集合X中任一

试验成果

试验成果分析

由图可知，I(x)是p的單调递減函数，概率小的事件一旦发生则赋予的信息量大，概率大的事件假如发生则赋予的信息量小。當p=1時，I(x)=0，表达确定事件发生得不到任何信息。當p=0時，I(x)→∞，表达不也許事件一旦发生，信息量将無穷大。

由图可知，對于二元信源，p=0或者p=1都對应确定事件的分布，因此熵值H(X)為0，而等概分布時，熵值H(X)取最大值為1。

试验總結

通過這次试验，使用Matlab数值模拟信源熵和自信息量，深入理解了自信息量和熵的概念、计算和它們的物理意义。理论和实践的結合让我對這個知识點理解得愈加深刻。

试验二准對称信道容量

试验规定

画出强對称信道容量数值模拟图。

试验原理及理论分析

信道是信息传播的通道。信道可以按不一样得特性進行分类，根据输入输出信号得特點可以分為如下四类：离散信道、持续信道、半持续信道、波形信道。根据记录特性，即转移概率得不一样，信道又分為無记忆信道和有记忆信道两类。强對称信道是一种常見的离散無记忆信道，每一子集有关行、列都對称，它的输入符号x∈{0，1}，输出符号y∈{0，1}，信道特性可表达為信道矩阵。

信道转移概率p(y=0|x=0)=p(y=1|x=1)=1-p,p(y=1|x=0)=p(y=0|x=1)=p。

强對称信道的容量计算公式：

C=

试验成果

试验成果分析

由图可知，p=0時，信道的输入符号和输出符号是一一對应的关系，此時信道容量C=log2，到达最大值。p=0.5時，信道的不确定性最大，此時信道容量C=0，這是一种最差的信道。p=1時，這是一种强噪信道，也是一种确定信道，此時信道容量也會到达最大值C=log2。

试验總結

通過Matlab数值模拟强對称信道容量，观测最高點最低點，加深了對强對称信道這一类特殊信道的理解，验证了理论计算的對的性。

试验三费诺不等式

试验规定

画出费诺不等式示意图，以H(X|Y)為纵坐標，Pe為横坐標，画出函数H(Pe)+Pelog(r-1)随Pe变化的曲线图，標注logr點以及log(r-1)點。

试验原理及理论分析

设信道输入符号X和输出符号Y取自同一符号集A={a1,a2,…,ak

H

费诺不等式的物理意义：

進行一次判决後，有关X的疑义度可分為两项：

与否判對，疑义度為H2

2、假如判决出錯（概率為pe），錯在k-1個符号中的哪一种？疑义度不會超過log(k-1)

试验成果

试验成果分析

根据极大离散熵定理，信源的消息個数為M，则H(X)≤logM，等号當且仅當信源X中各消息等概時成立。如图所示，各消息等概分布時，信道疑义度即信源熵最大為log(r)。

如图所示，當錯误概率為1時，判决出錯，錯误发生在k-1個符号中，疑义度最大為log(k-1)。

试验總結

使用Matlab模拟時，p0和pd的值不能直接取到0和1，這样围不成一种封闭区域，p0和pd可以取到两個無限靠近0和1的值。很好地掌握极大离散熵

试验四香农编码

试验规定

1、根据香农编码的措施和环节，编写香农编码程序，得到码字和编码效率；

2、用编写的源程序验证書中例題的對的性，并用图表达码長成果。

试验原理及理论分析

香农编码法是一种常用的变長编码法，對于