2 教育信息熵.ppt

第二章 教育信息熵 学习要点 教育是一种信息系统。教学过程是一种信息的传递和信息的处理过程。有关教育系统的研究，其实质是教育系统中的信息、信息传递和信息处理的研究。 信息理论中，信息熵是一个十分重要的核心概念。同样，教育系统中，信息量的计算，信息熵的计算，对教育系统的分析、评价有着重要的意义。教育信息熵是教育信息科学，教育信息处理中的一个十分重要的概念。 本章在对信息熵与熵技术全面介绍的基础上，讨论信息熵在教学中的应用。通过一些信息熵在教学中应用实例的介绍，我们将对如何利用熵技术处理教育信息、分析教育过程有进一步的理解。 教学目标 掌握信息熵的计算公式。 了解信息熵的基本性质。 理解相对熵、联合熵、条件熵、互信息的含义，并能根据公式进行计算。 用文氏图说明两个系统X、Y的熵、它们的联合熵、条件熵、互信息之间的关系。 理解等价预选项的含义，并能看懂项目答对率pr与等价选项个数k之间的关系图。 教育信息熵 第一节 熵的概述 第二节 相对熵与冗余度 第三节 熵函数的展开 第四节 测试问题的信息量 第五节 教学过程的信息量分析 第六节 教育中质的数据信息量分析 第七节 CAI课件中的信息熵 第八节 信道容量与编码 第一节 熵的概述 第一节 熵的概述 熵是1865年作为热力学的一个重要概念引入的。信息理论中的熵是从不同的观点引入的，二者间虽有相同的数学形式，但它们并没有什么直接的联系。 第一节 熵的概述 一、信息量的表示 二、信息熵 三、熵的意义 四、信息熵的基本性质 一、信息量的表示 传输信息时，接收者若能够完全知道所传的内容，就会感到没有得到什么信息；反之，若传输的内容使其感到十分意外，就会感到得到很多信息。因此，信息的多少与信源的不确定性有关。 例如，有人告诉我们，今年冬天蒙自没有下雪。由于蒙自冬天下雪的机会很少，这样的事件没有多少意外，得到的信息就少。若告诉我们今年冬天蒙自有雪，这是一个比较意外的事件，我们就会感到得到较多的信息。 一、信息量的表示 一般来说，在通信过程中，信源发出的消息对收信者来说总是存在着某种程度的不确定性，通过通信，收信者就可能消除这种不确定性。 例如，一个人讲话时，我们常常不知道他下面讲的是什么内容，除非他念的是一篇众所周知的文稿。又如，在电报传输中，接收端不可能完全知道发送端发出的下一个符号是什么，否则通信就失去了意义。 一、信息量的表示 信息的大小与信源的不确定性有关 一、信息量的表示 一、信息量的表示 现有A、B、C、D、E五名学生，以他们作为候选人，需从中选出一名学生作为学生代表。这是一个五选一的问题。教育中，类似的问题很多，如学生对多重选择问题的回答，学生对课程的选择等等。 　　对于这种五选一的系统，设定每一名学生被选中的可能性是一样的，被选中的概率都是1／5。在选拔结果公布以前，我们对这种五选一系统所具有的知识只是每个人被选中的概率都是1／5，究竟谁会最后选中并不清楚。这是对五选一系统的一种不完全的知识，也是一种不确定的认识。 一、信息量的表示 现有A、B、C、D、E五名学生，以他们作为候选人，需从中选出一名学生作为学生代表。 　　选拔的结果是A被选中。当我们得到了A被选中的消息后，我们对五选一系统的知识从不完全到完全，对五选一系统的认识从不确定到确定。它表明“A当选”的消息使我们的知识量增加了，即它具有一定的信息量。 一、信息量的表示 我们讨论的系统是五选一的系统。若讨论的系统是n选一的系统，显然，n越大，选拔前的不确定性就越大，选拔结果公布后，它给予人们的知识量就越多，即人们从公布结果中所得到的信息量就越大。这种信息量的多少与n的大小成比例地增加。为此，我们以H=log2n来定义从n个概率相等的事件中选择其中一个的系统的信息量。 以上的讨论中，我们是以得到消息后，在多大程度上丰富了我们的知识，消除了认识上的不确定性来定义信息量的，而且设定，五选一的系统中，每一名学生被选中的概率是相等的。若五名学生中，每一名学生当选的概率不同，显然，结果公布后，给予人们的信息量就不一样了。 例如，选拔前，已知A当选的概率是90％。A选中的结果公布后，所给予人们的知识量较小，因为选拔前，人们已经有了较为完全的知识。作为一个极端，设选拔前，已明确A一定会当选，即A选中的概率为1。选拔结果公布后，它并没有向人们提供什么新的知识，即它给予人们的信息量为零。为此，我们应以概率来定义信息量。 一、信息量的表示 信源输出的消息可以看作是随机事件，它的不确定度可根据其出现的概率来衡量： 一、信息量的表示 例如，如果从装有99个红球和一个白球的布袋中。随意拿出一球，那么它是红球的可能性就很大，因此，不确定程度不大； 如果从装有红、白、黑和黄四种颜色的球各25个的布袋中，随意拿出一球，