CRASE5用于ACT写作技术报告-.pptxVIP

自从CRASE开始对ACT写作进行评分以来，人们一直希望添加新的引擎功能，以扩展CRASE可以处理的论文类型。这些新功能包括自动检测离题论文、自动检测令人不安的内容、利用现代模型拟合方法，以及提供关于引擎对评分自信度的信息。2025年开发了一个名为CRASE5的新版本CRASE，以集成这些新功能

。

本报告的主要目的是使用CRASE5中产生的新通用评分模型来复制CRASE+技术报告中列出的研究。本报告所呈现的结果，尤其是与原始报告中的对应结果相比较时，应提供更新后的CRASE5通用评分模型表现与原始CRASE+通用评分模型相当的有效性证据。

本报告遵循CRASE+技术报告的结构。下一节简要概述了CRASE和CRASE5。第三章讨论了用于训练和验证引擎的数据和过程，第四章提供了验证结果。第五章包含对CRASE5得分的子组分析。第六章描述了CRASE5如何处理条件代码。

I.引言

从2022年10月开始，ACT开始使用其自动评分引擎，CRASE。®为向ACT国际项目中的写作论文提供两项评分之一。此后，CRASE已应用于其他项目，包括ACT区级（2023年春季）、ACT省级（2023年秋季 )和ACT国家级数字考试（2023年12月）。

为了支持这一决定，ACT制定了一份重要的研究计划。研究人员进行了多次概念验证研究，以评估CRASE评分与人工评分的准确性。结果于2023年6月作为研究报告发布。RASE+C®为ACT写作技术报告.

ACT研究|研究报告|2026年1月1

CRASE5®为ACT写作技术报告

CT

©2026由ACT教育集团有限公司所有。版权所有。|R2544

II.背景：自动评分和CRASE5

自动评分（或自动作文评分）是指利用计算机算法来模拟人工评分在构造性响应或作文项目上的行为。评分算法被称为引擎。为使评分算法投入实际应用而进行的准备称为训练引擎。评分引擎包括四个部分：读取文本数据的方式、标准化和初步处理文本的前处理程序、提取文本定量特征（称为特征）的方式以及将这些特征映射到人工评分数据的方式。对于使用神经网络的先进引擎，特征提取和将特征映射到人工评分数据的过程可能合并为一个过程。

CRASE，即构建式响应自动评分引擎，于2007年为一个美国州的总结性评估项目而创建。该系统此后经过改进，增加了对其他类型开放式问题的评分方法，并融合了新的文本处理和建模技术。CRASE已在多个州的测试项目（形成性和总结性）以及许多研究项目中投入实际使用，包括美国教育部提升评估赠款项目。正如引言所述，CRASE自2022年起已应用于选定在线ACT写作测试的评分队列中。

当CRASE首次用于ACT写作时，它被称为CRASE。+代表CRASE软件的第四个主要版本。通过构建一个新的引擎，使引擎训练员在开发评分模型方面拥有更大的灵活性，ACT提议从2025年9月开始使用CRASE5。本报告中所呈现的所有分析均使用CRASE5的评分生成。

本报告假定读者对自动评分概念有一定的了解。对于对自动评分尚不了解的读者，CRASE研究团队建议以下资源：

Lottridge,S.,Burkhardt,A.,Boyer,M.(2020).数字模块18：自动评分。

教育测量：问题与实践,39(3),141–142.

/10.1111/emip.12388

麦卡弗雷，D.，卡萨布兰卡，J.，里克尔-佩德利，K.，劳莱斯，R.，温德勒，C.（2021年）。最佳建构性答题评分实践ETS./content/dam/ets-org/pdfs/about/cr_best_practices.pdf

Shermis,M.D.，Burstein,J.(主編)。2013。《自动论文评估手册：当前应用与新的发展方向》劳特利奇出版社

Wood,S.,Yao,E.,Haisfield,L.,Lottridge,S.(2021).建立自动评分的最佳实践标准.行动。

/content/dam/act/unsecured/documents/R2100-auto-scoringstandards-2021-07.pdf

颜，D.，鲁普，A.A.，