信息论教学中熵的一种引入方法.docVIP

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
信息论教学中熵的一种引入方法.doc

信息论教学中熵的一种引入方法 摘 要 熵是信息论中的一个最基本的概念,只有接受了熵的意义,学生们才有可能理解信息论中的其它概念和理论。因此在信息论教学中熵的引入是最基本和最重要的一步。通过多年信息论教学,笔者总结出一种引入熵的方法,这个方法更加直观和系统,使这个概念更容易被学生理解和接受。 关键词 信息论 熵 公理化方法 中图分类号:G424 文献标识码:A DOI:10.16400/j.cnki.kjdkx.2015.06.053 One Introduction Method of Entropy in Teaching Information Theory CHANG Zuling (School of Mathematics and Statistics, Zhengzhou University, Zhengzhou, Henan 450001) Abstract Entropy is the most elementary concept in information theory and students can understand the concepts and theories in information theory only if they accepted meaning of entropy. So introducing entropy is the most elementary and important step in the course in information theory. Through years of teaching information theory, I summarize one more intuitive and systematic method to introduce entropy which makes students can understand and accept entropy more easily. Key words information theory; entropy; axiomatic approach 在信息论这门课程中,“熵”(Entropy)是一个非常重要的概念。“熵”首先出现于热力学第二定律中,是仙农在1948年他的开创性论文“通信中的数学原理”①中,把这个概念借用于信息论中来表示信息量的多少。通过熵,我们可以把信息进行量化,从而把使用丰富的数学工具来分析信息变成了可能,从而奠定了现代信息论的基础。②在信息论的教学中,如何引入熵这个基本概念,就是一个非常重要的问题。如果引入得不好,则学生对熵不理解,无法接受这个概念,从而影响进一步的信息论教学效果。 在多种信息论教材中,引入熵的方法多种多样,大概可以归结为三种,一种是直接给出熵的定义而不加推导引入;③一种是先考虑变量各个取值的自信息,然后再求期望推出熵的定义;④一种是先分析性质,再通过证明推出熵的定义。⑤在多年的信息论教学中,笔者综合了各种方法的优点,总结出一种新的引入熵的方法,这种方法更加直观和系统,可以让学生容易接受,教学效果良好,现与从事信息论教学的各位同仁们交流分享。 我们在这里详细介绍引入熵的各个步骤,力求清晰明了: 第一步:定义信源。 在引入熵之前我们定义信源。详细说明信源是产生信息的源头,其间可以通过举例来说明。为了研究方便,对信源建立数学模型。我们用随机变量表示信源并只考虑离散型随机变量。令表示离散型随机变量, ,,…, 表示的取值字母表。的概率质量函数( )为:() ,,或者 ,。 第二步:定义信息。 然后我们提出信息的概念。因为随机变量的取值是依对应的概率相应出现的,所以在随机变量的值出现之前,我们一般不能确定它的确切取值,因此随机变量有不确定性。例如:在抛掷硬币时,我们不知道结果是正面或是反面;从袋子中取球时,我们不知道会取中那个;买彩票时,我们不能确定会不会中奖,等等。当随机变量的值确定之后,不确定性消失,等价于从中获得一些信息。在这种意义下,我们把随机变量的信息与随机变量的不确定性等价起来,我们称随机变量的信息指的就是随机变量的不确定性。这里我们一定要让学生理解随机变量的不确定性即信息这一点。 第三步:提出信息的度量。 有了信息的概念,自然就会产生这样的问题:随机变量的信息(不确定性)该如何度量?我们该如何判断随机变量的信息(不确定性)的大小?显然,随机变量的不确定性由随机变量的概率分布决定。但用概率分布来表示不确定性非常麻烦,例如可能不同的概率分布会具有同样的信息。最重要的是概率分布不能量化,因此我们需要考虑信息的表示问题。 我们定义一个函数()来表示随机变量包含的信息(不确定性)。这个函数只与的概率质量函数有关,而与中的具体值是没有

文档评论(0)

jingpinwedang + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档