1+X证书制度培训评价组织评价指标体系构建研究.docxVIP

1+X证书制度培训评价组织评价指标体系构建研究

黄铁牛?郭广军?潘建明?李鑫

摘要培训评价组织是1+X证书制度实施的关键主体，当下培训评价组织评价体系缺乏，有必要建立评价指标体系来加强对其监督与评估。参考CIPP理论评价模式，运用文献研究法、德尔菲法及层次分析法，构建了由基础评价、资源评价、实施评价和效果评价4个一级指标、12个二级指标、30个三级指标组成的培训评价组织评价指标体系，并确定了指标的权重。提出加强培训评价组织遴选、制订评价指标体系及全面开展现有培训评价组织监管考核的培训评价组织监督管理策略，为职业教育培训评价组织考核及监督管理提供参考。

关键词1+X证书制度；培训评价组织；评价指标体系；德尔菲法；层次分析法

中图分类号G717文献标识码A文章编号1008-3219（2023）11-0060-06

一、问题的提出

二、研究设计与开展

（一）研究方法

1.文献研究法

本研究依据《管理办法（试行）》和《试点方案》等政策文件，通过中国知网、维普等数据库以及相关网络资源查阅国内有关培训评价组织的研究文献及成果等。一方面，归纳分析相关研究文献拟定了培训评价组织的评价指标体系，梳理出培训评价组织评价的基本维度，初步确定4个一级指标及相关内容；另一方面，为调查表、访谈提纲的制订以及指标体系的设计提供依据。

2.德尔菲法

邀请来自教育主管部门、职业院校和培训评价组织的专家，采用电子邮件发送问卷的形式，就评价指标的选择进行专家咨询，确定其评价指标体系的各维度指标。

3.层次分析法

首先，采用9级评分方法，专家对每一个指标重要性进行两两比较评分，得出相对重要性；然后，列出两两比较矩阵；最后，通过软件计算矩阵的一致性指标（CR值），如果CR0.1，就可以判断矩阵的层次排序有满意的一致性[9]。本研究采用层次分析法计算指标权重。

（二）调研专家选取

本研究咨询专家的确定需满足三个基本条件之一：一是从事1+X证书制度试点工作的专家学者；二是主持1+X证书制度试点课题或项目的学者；三是公开发表过1+X证书制度主题论文的专家。所有专家不集中在一个单位，并能保证完成至少两轮的咨询。本研究按照三个基本条件，采用方便抽样法，确定了来自长沙民政职业技术学院、永州职业技术学院和宁波职业技术学院等1+X证书制度试点职业院校的专家，江西省和辽宁省等1+X证书制度试点推进办公室的专家，金职伟业集团有限公司和泰康珞珈（北京）科学技术研究院等培训评价组织的负责人，共25位专家参加专家咨询。

（三）研究过程

1.评价指标体系初步构建

2.专家咨询

（1）第一轮专家咨询

进行评价指标的必要性专家咨询。本研究采用微信或电子邮件方式开展问卷咨询，采用5级评分，一共邀请20位专家对各指标进行必要性评分，同时设置了“新增”和“删除”二级指标项。回收有效问卷之后，对均值进行分析，保留了评分大于3的指标；对部分指标的描述进行了完善，对专家提出增加的指标进行补充。同时，对专家的熟悉程度进行5级评分，对指标评价的依据进行3级评分，依据评价来自1+X证书制度试点的实践经验、逻辑推理、了解程度和直觉判断四个方面。

（2）第二轮专家咨询

评价指标的重要性评价。在第一轮专家咨询基础上修改评价指标，形成新的培训评价组织评价指标体系，再次邀请22位专家，对新指标体系进行评分，采用5级评分对指标的重要性进行评价。

3.确定各级指标权重

运用层次分析法，邀请25位专家，采用两两比较9级进行评分，对评价指标体系的各级指标权重进行重要性评分，收集整理评分问卷，将数据导入软件，计算各级指标的权重。

三、研究结果

（一）德尔菲法专家咨询结果

1.专家基本情况

2.专家咨询表回收情况

第一轮专家咨询发放22份问卷，剔除规律作答问卷，最终得到20份有效问卷，问卷有效回收率为90.9%；第二轮专家咨询发放25份问卷，剔除规律作答问卷，最终得到22份有效问卷，问卷有效回收率为88%。问卷回收率可以反映出专家参与的积极程度高[10]。

3.专家权威程度

第一轮和第二轮专家判断系数（Ca）分别为0.885和0.892，熟悉程度系数（Cs）分别为0.827和0.873，计算出专家权威系数（Cr）值是0.878和0.882，都在0.7～1.0之间，说明两轮咨询专家的权威程度均较高，咨询结果可靠。

4.专家协调程度

“通过协调系数（W）来反映专家协调程度，协调系数为0～1之间，说明专家对指标重要性认知的一致性和集中程度，其值越大表示专家意见的一致性程度。”[11]本研究两轮专家咨询的协调系数是0.285和0.364，检验P＜0.05，差异无显著性，说明两轮专家意见的协调程度都较好，意见趋于一致。专家协调程度见表2。

5.专家效度分析

本研究有效问卷回收率都高于80%，说明专家参与咨询的积极程度较高；权威系数C