PSC机测和人工测试对比分析.docVIP

PSC机测和人工测试对比分析 　　摘 要：本文统计了570名学生的机测成绩和人工测试成绩，以人工测试成绩为标准，充分对比了机器测试与人工测试成绩之间的差距，并对这种差距进行了深入的分析，得出了造成此种差距的原因。 　　关键词：PSC 机测 人工测试 对比分析 　　 　　一、PSC测试简介 　　一直以来，普通话水平测试（PSC）都是由测试员进行人工测试。随着科技的发展，尤其是计算机技术的进步，由机器来自动完成普通话的测试已经进入了实用阶段。我们在这里介绍的机测普通话是利用中文信息处理、语音识别等技术让计算机对应试者普通话的水平进行打分评级，这个过程中基本上不需要人工的参与。 　　二、相关数据和统计方法说明 　　本文的数据包括了两个部分，一部分来自机器测试，另一部分是来自于人工测试，都是针对同一应试人的普通话成绩。目前机测只能完成被测内容的前三题，所以本文按照前三题分数、第四题分数和总分，按姓名排序，汇入一张表格。这样，每一个人的成绩形成一条记录，记录的项目包括姓名、机测前三、人测前三、前三误差、机测第四、人测第四、第四误差、机测总分、人测总分、总分误差、机测等级、人测等级共十二项。其中，“机测”是指机器测试，“人测”是指人工测试，“前三”是指前三题总分，“第四”是指第四题分数，误差=人测成绩-机测成绩。 　　表1：误差标准： 　　误差项目 前三题 第四题 总分 　　一级 1.6 0.5 2.1 　　二级 2.8 1 3.8 　　三级 4.2 1.5 5.7 　　 　　注：前三题误差=第一题误差+第二题误差+第三题误差；总分误差=前三题误差+第四题误差。 　　等级误差则严格按照“机测等级=人测等级”，若两者不匹配就视为在等级上不相符，在本文中还会有级相符而等不相符者，标准是“机测级=人测级”。 　　三、总体情况分析 　　（一）总体数据及说明 　　表2：机测等级相符情况统计表 　　 机测相符个数 机测个数 机测相符度 　　一级 0 0 0% 　　二级甲等 33 50 66.0% 　　二级乙等 106 284 37.3% 　　三级甲等 8 193 4.1% 　　三级乙等 0 41 0% 　　总体 147 570 27.8% 　　 　　注：机测中，有2个是不入级的。机测相符度=机测相符的个数／机测个数。 　　表3：总分误差情况统计表 　　 个数 所占比例 　　总分误差=0 529 93% 　　总分误差0 41 7% 　　 　　注：总分误差=人测总分-机测总分 　　总体上机器测试的相符度并不高，但在各等级中又不尽相同。二级甲等的相符度能达到66%，而一级和三级一等的相符度为0。普通话水平测试等级为二级甲等的属于普通话较好的，所以，我们可以说，对于普通话较好的机器测试比较准确，而对于处在普通话水平两端的，机器测试与人工测试的相符度较低。而总分误差=0的数据占了总体数据的97%就说明了人测分数普遍高于机测分数。 　　机测的相符度为27.8%，可以说这个相符度是相当低的，说明机测还存在一些问题，机测的正确率还有待提高。但是，在各等级中，二级的相符度比一级、三级的要高，尤其是二级甲等，相符度为66%。由此，我们可以得出结论：对于普通话水平较高的，机测比较准确；而对于普通话水平较低的，机测不准确；这也就说明普通话水平的高低对机测普通话准确率有很大的影响。 　　（二）前三题数据分析 　　前三题完全是靠机器测出，我们说机测，在很大程度上就是指的这种机器自动测试普通话的情况。所以对于前三题机测误差的原因分析更能帮助我们寻找提高机测相符度的切入点。 　　表4：前三题机测等级相符且在误差范围内的数据分析 　　 机测等级完全相符且前三题分数在误差范围内的个数 　　 　　机测个数 机测等级完全相符且前三题分数在误差范围内的相符度 　　一级 0 0 0 　　二级甲等 25 50 50% 　　二级乙等 58 284 20.4% 　　三级甲等 3 193 1.6% 　　三级乙等 0 41 0 　　 　　注：机测中，有2个是不入级的。 　　我们看到前三题的相符度分布情况和上文的分布情况有相同之处：都是二级甲等的相符度最高。但是我们也看到，当把误差范围引入之后，机测相符个数明显地减少了，说明了很多数据虽然等级相符，但前三题还是超出了最大误差范围。这就进一步降低了原本就不高的机测准确率。 　　机器测试普通话，对于普通话水平较高、音质较好的人来说，测试往往比较准确，而对于普通话水平较差的人来说，机器测试则往往存在较大的误差，尤其是普通话水平处在由二甲到二乙这个区间上时，机器测试的相符度是最低的，误差是最大的。 　　（三）第四题数据分析 　　第四题与前三题相比有自己的个性，