2023年第三届中国高校大数据挑战赛一等奖数据的预处理.pdfVIP

2023年第三届中国高校大数据挑战赛一等奖数据的预处理.pdf

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

5数据的预处理

5.1样本数据的处理

本研究的主要内容是获取和处理行业职业技术培训的6类技能考核成绩数据集。我们

使用的数据包括入学与离校技能考核成绩及培训学校编号等信息。在数据提取过程中,我

们发现所有数据都已进行了标准化处理。鉴于样本数据量不平衡,我们先对技能考核成绩

数据集进行了探索性分析,包括类别型和数值型特征的分析。针对不平衡数据,我们采用

了SMOTE过采样等方法进行处理,优化了样本数据结构。最后,我们采用逻辑回归算法

对原始数据和经过SMOTE过采样处理后的数据进行分类识别,并评估其效果,选择了最

终的采样数据。

5.1.1描述性统计

附件数据给出了6个类型、160个培训学校32165个学员的入学、离校的5种技能考

核和总分成绩。为了便于比较和研究,所有数据都进行了标准化处理。为清晰反映数据的

众多关键特征,采用描述性统计呈现其结果如表1所示。

表1:技能考核成绩描述性统计

最大最小变异系数最大最小变异系数

变量名平均值峰度变量名平均值峰度

值值(CV)值值(CV)

入学技能1离校技能1

2.88-4.9410.0580.9316.5153.02-4.9110.0320.5728.78

考核成绩考核成绩

入学技能2离校技能2

1.74-4.7390.2242.6283.6011.96-3.7980.0250.71639.266

考核成绩考核成绩

入学技能3离校技能3

1.292-4.9870.1124.2648.0421.913-3.3530.005-0.454189.309

考核成绩考核成绩

入学技能4离校技能4

1.353-4.9830.2331.1953.6122.409-2.4650.005-0.666215.078

考核成绩考核成绩

入学技能5离校技能5

1.246-4.8170.2252.1883.6122.329-3.1860.02-0.44348.681

考核成绩考核成绩

入学考核总离校考核总

1.755-4.390.2130.6523.9612.279-3.4520.015-0.362.686

分成绩分成绩

基于技能核成绩变异系数(CV)均大于0.15,当前数据中可能存在异常,为此本文

选择对数据集进行特征探索,这有助于确保研究的客观真实性。通过算法构建用户体验的

识别模型,以提高对学校培训技能的评估和理解。

5.1.2数据集特征探索

对数据集中所有维度的类别型特征变量与入学技能考核成绩和离校技能考核成绩务这

一变量进行分析,探索变量的趋势与分布特征,从而为本文后续的数据预处理提供思路。

考虑特征变量

文档评论(0)

数学建模-赛道做 + 关注
实名认证
服务提供商

各类数学建模竞赛-文档,及优秀论文分享

1亿VIP精品文档

相关文档