不同模式之贝氏网络对计算机化测验认知诊断成效.docVIP

不同模式之贝氏网络对计算机化测验认知诊断成效摘 要：目前有不少的研究指出，利用贝氏网络诊断学生的错误类型（Bug）以及子技能（Skill）的学习情况，其成效良好。结合计算机进行仿真研究，更可以了解在不同模式设计下的贝氏网络之预测精准度，以提供建置计算机化测验系统之参考。因此，研究的目的为评估不同模式之贝氏网络的诊断成效。 研究结果显示，将选择题选项对应之错误类型视为试题当作证据时，比单纯选择题时的预测精准度提升5.2%，而加入专家知识结构能够再提升0.8%。因此，在建置贝氏网络为基础的微积分计算机化测验时，应参考模式四之设计。 关键词：贝氏网络；计算机化测验；认知诊断；微分基本公式 中图分类号：B841.2 文献标识码：A 文章编号：1003-5184（2012）05-0414-03 1 研究目的 贝氏网络（Bayesian network），是一种机率图形模式，其为结合贝氏理论（Bayes’ theorem）与图形模式所衍伸出的知识表示方式。贝氏理论能够结合事前机率（prior probability）与样本机率（sample probability）来推算事后机率（posterior probability）；图形模式则是以有方向性之非循环图形的方式呈现。贝氏网络近年来广泛应用在各个领域，也有在教育测验方面的应用（谢典佑，郭伯臣，许曜瀚，许天维，2008）；更有研究指出用贝氏网络诊断错误类型（bugs）可以获得稳定且可信的诊断结果（Lee Corter，2011）。微积分是大学课程中重要的基础科目，结合计算机化测验更能提升微积分的教与学的效果（刘湘川等，2010）。目前已有研究指出，加入建构反应题证据，能够提升贝氏网络对于微分基本公式的诊断成效（郑俊彦，刘湘川，郭伯臣，邱毓芳，2011），而选择题选项所对应之错误类型与专家知识结构的讯息尚未纳入进行分析。因此，研究的目的为加入选择题对应选项与专家知识结构之讯息，探讨其与仅纳入选择题讯息之贝氏网络诊断效果的差异。 2 研究方法 确定研究主题后收集相关文献，使用台湾地区技专院校微积分领域中微分基本公式之专家知识结构图（刘湘川等，2010）进行命题，研究流程如图1所示；其专家知识结构如图2所示；贝氏网络结构如图3所示。 整份测验共计18题四选一的选择题。研究对象为九十九学年度大学一年级学生，包括台湾中部地区两所技专院校共8个班级，有效样本共计336人，在教学完毕该范围后一周内进行施测。施测收集之样本，经由专家判读结果作为校标，其结果分为答题对错状况、子技能具备与否及是否拥有错误类型等三大项，如表1所示。作答结果判读完毕后，使用四种模式输入贝氏网络之证据：模式一为单纯输入选择题之答题状况；模式二除了选择题的数据外，另外加入专家知识结构做推论；模式三，将选择题选项对应之错误类型视为试题，每一道试题包含一个正确选项及三个根据错误类型设计的错误选项，因此当受试者选择正确答案以外的选项，其所对应之错误类型，亦可视为证据输入贝氏网络进行推论；模式四，将模式三加入专家知识结构。 专家判读结果试题部分以1代表正确，0代表错误；错误类型部分以1代表具有该错误类型，0代表不具有；子技能以1代表具备，0代表不具备。 将各模式利用贝氏网络工具箱（郭伯臣，谢典佑，2007）进行推论，并使用5等份交叉验证法（5-foldcross-validation）评估其成效，如图4所示，所有收集的样本分为五等分，其中四等分做为训练样本（training samples），利训练样本估计贝氏网络的先验机率，一等分做为测试样本（testing samples），测试样本进行贝氏网络推论，循环五次计算精准度，再求五次的平均值，即为最后的预测精准度。 预测精准度是以专家判读结果做为校标，与贝氏网络推论的结果进行比对，如表2所示，预测精准度为贝氏网络推论结果与专家判读结果相同之样本数占全体施测样本的比例。 预测精准度=n（1，1）+n（0，0）N 3 研究结果 子技能于模式一至四之平均预测精准度分别为0.8459、0.8610、0.8938及0.9093，以模式四纳入选择题选项对应之错误类型及专家知识结构进行推论，其贝氏网路预测精准度最佳，比模式一提升0.0634。错误类型于模式一至四之平均预测精准度分别为0.8655、0.8678、0.9210与0.9226以模式四纳入选择题选项对应之错误类型及专家知识结构进行推论其贝氏网路预测精准度最佳，比模式一提升0.0571。 模式一至四之总平均预测精准度分别为0.8557、0.8644、0.9074和0.9159以模式四最为优异，结果如表3所示。研究结果显示，纳入选择题选项对应的错误类型与专家知识结构之贝氏网络（模式二、