信息论与编码答案傅祖芸.pdfVIP

信息论与编码答案傅祖芸--第1页

信息论与编码答案傅祖芸

【篇一：信息论与编码课程设计报告】

t设计题目：统计信源熵与香农编码

专业班级学号学生姓名指导教师教师评分

2014年3月24日

目录

一、设计任务与要求二、设计思

路2三、设计流程

图3四、程序运行及结

果5五、心得体

会6参考文

献6附录：源程

序7

一、设计任务与要求

1、统计信源熵

要求：统计任意文本文件中各字符（不区分大小写）数量，计算字

符概率，并计算信源熵。2、香农编码

要求：任意输入消息概率，利用香农编码方法进行编码，并计算信

源熵和编码效率。

二、设计思路

1、统计信源熵：

统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中

的a,b,c,d/a,b,c,d(不区分大小写)统计每个字母的个数n，有这个

公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）

=??p(xi)logp(xi)

i?1n

，

可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，

在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个

字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算

出信源熵。2、香农编码：

香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同

时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：

i(xi)?ki?i(xi)?1,?i

信息论与编码答案傅祖芸--第1页

信息论与编码答案傅祖芸--第2页

具体步骤如下：

a、将信源消息符号按其出现的概率大小依次排列为：

p1?p2??pnb、确定满足下列不等式的整数码长ki

为：?lb(pi)?ki??lb(pi)?1c、为了编成唯一可译码，计算第i个消息

的累加概率：pi??p(ak)

k?1i?1

d、将累加概率pi变换成二进制数。

e、取pi二进制数的小数点后ki位即为该消息符号的二进制码字。

在香农编码中对于求解编码效率主要是依靠这个公式:r=h(x)/k,其中

k??p(aik)i

i?1n

h（x）=??p(xi)logp(xi)

i?1n

对于求解信源熵主要依靠公式：，

三、设计流程图

1、统计信源熵：

2、香农编码

【篇二：信息论与编码论文(香农信息论对现代的影响)】

txt摘要：1948年香农在bellsystemtechnicaljournal上发表了

《amathematicaltheoryofcommunication》。论文由香农和威

沃共同署名。这篇奠基性的论文是建立在香农对通信的观察上，即

“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文

应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给

出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、

信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信

道中，通过发送1和0的比特流，人们可以传输图像、文字、声音

等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息

理论框架和术语已经成为技术标准。他的理论在通信工程师中立即

获得成功，并刺激了今天信息时代所需要的技术发展。

关键词：香农、通信、编码

abstract:in1948,shannonbellsystemtechnicaljournal