信息论设计实验探讨.doc

《信息论课程设计》 实验报告 题 目 1： 实现香农编码及计算其编码效率 题 目 2： 实现有噪信道编码中的循环码 院 系（部）： 计算机科学与技术学院 专业及班级： 信息与计算科学1301班 姓 名： 唐诗韵 学 号： 1308060105 日 期： 2016/01/10 目 录 1. 课题描述 1 2. 信源编码的相关介绍 2 3. 香农编码（题目一） 3 3.1. 香农编码算法 3 3.2. 香农编码特点 4 4. 香农编码的C++程序实现 4 4.1. 程序设计 4 4.2. 运行结果 6 5. 实现有噪信道中的循环码编码方法（题目二） 6 5.1. 循环码编码算法 6 5.2. 循环码编码特点 7 6. 循环码编码的C++程序实现 7 6.1. 程序设计 7 6.2. 运行结果 9 7. 总 结 10 8. 参考文献 11 课题描述 信息论是一门理论和实践相结合的专业，因此相关题目都是来自于实践，同时具有上机练习的可操作性，此门科目是通信的基础。香农1984年发表的一篇论文标志着信息论诞生，在他的论文中主要用概率来描述有效传输信息的问题，用概率给予了信息的定量描述方法，并提出了信源熵的概念，在现实生活中，人们经常把消息和信息分不清，认为消息就是信息，实则不是，消息是描述实物，而信息是定量描述一个消息所传输的信息量，通常用自信息量来描述一个消息所传达的信息量，它取值为此事件发生的概率的负对数，它表示一个事件发生之前此事件发生的不确定性大小，也表示一个事件发生后它所能提供的信息量，两个相互独立的消息所提供的信息量等于各自信息量之和。此外，还可用互信息来描述信息的传达，为一个事件给出关于另一个事件的信息量，也表示事件y出现后信宿获得的关于x的信息量，互信息的引出，使信息的传递得到了定量的表示。如果事件是以序列的形式表示的，及事件集，则用平均自信息量来表示信源所传递的信息，平均信息量表示信源的平均不确定性，比如抛掷一枚硬币的试验所包含的平均信息量。要表示序列集的互信息量则用平均互信息来表示，是一个事件集所给出的关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。这些关于信息的定量度量方法可以用到离散随机变量和连续信源的情况中去，以此来描述信息的传达。 信息论，顾名思义，是研究对信息的处理的课题，怎样把信息通过一定的渠道传给另一个机制，要首先选择一个通道，及信道，然后将信息转化成特定的数字信号即编码，然后在传输信道末端将信号转化为信息，即译码，这就把信息传输出去了。信源就是产生消息和消息序列的源，编码器就是把消息变成适合在信道传输的物理量，这种物理量成为信号，信号携带着消息，是消息的载体。信道是指通信系统把信号从发送端送到接收端的媒介通道，它还有储存信号的作用。 译码就是把信道输出的已增加了干扰的信号进行反变换，使之变换成信宿能够理解的消息，译码器需要尽可能准确的再现信源输出的消息，就要求干扰尽可能小，而且译码尽可能准确。信宿就是消息传送的对象，及接受消息的人、机器或其他事物。 信息论就是用概率描述抽象的消息通过一定渠道传输到另一个机制时的过程中的各种外部干扰或内部干扰对于传输结果的影响，信息的传递效果有很多的具体度量方式，例如：离散信源和连续信源的信源熵、离散及连续信道信道容量等。为了使信源转化为信号，就要对信源进行编码，编码效率与信源序列的平均码长及信源熵有关，有各种编码方法，如：香农编码、费诺编码、哈夫曼编码等。此外，还要对信道进行编码，在信道上编码会有错误，并且要设置编码规则，所以纠错编码就显得尤为重要，对信道的一般要求是，纠错检错能力强，信息传输效率高。但消息在传达过程中是不可能不会出现失真，所以就要对信源编码进行限失真，以保证信息传输效率在一定范围内。 信源编码的相关介绍 信源来说，一个主要的问题是怎样能合理的描述并表示信源的输出，因为对方要接收到信源，就需要以一种特定的形式输出，为了能让输出的消息更容易理解并应用，就需要对输入的信源进行编码，使之变换成适合信道传输的符号序列，同时，为了尽量减少信源的失真度，应该尽可能减少码符号，以便于提高传输效率。信源编码是按照一定的规则将信源符号映射成数学符号，并进行传输的一种编码