RapidMiner.02.数据准备：导入、预处理、导出.pdfVIP

数据准备：导入、预处理、导出 RapidMiner 开源数据挖掘工具 第2周 DATAGURU专业数据分析社区 RapidMiner 开源数据挖掘工具讲师郭振未QQ 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，不得在课 程以外范围散播，违者将可能被追究法律和经济 责任。 课程详情访问炼数成金培训网站 DATAGURU专业数据分析社区 RapidMiner 开源数据挖掘工具讲师郭振未QQ 背景和概要说明  Jerry是一家小型互联网设计和广告公司的营销经理。他的老板让他开发一个包含互联 网用户相关信息的数据集。公司将使用这些数据来确定哪些人在使用互联网，以及公 司可以如何向这一用户群体推广他们的服务。  为了完成任务，Jerry创建了一个在线调查，并将指向调查的链接放在了多个受欢迎的 网站上。在两周内，Jerry收集到了开始分析所需的足够数据，但他发现这些数据需要 逆规范化。他还注意到数据集中有些观察项是缺失的值或看起来包含无效的值。Jerry 认识到在开始分析之前，需要对数据进行一些额外的工作。 DATAGURU专业数据分析社区 RapidMiner 开源数据挖掘工具讲师郭振未QQ 学习目标  在学习完本节课并完成其中的作业练习后，您应能够：  解释数据清理的概念和目的  列出在处理缺少的数据方面可能采取的解决方案  解释数据约简的作用，并执行基本的数据约简方法  确定并处理不一致的数据  讨论属性约简的重要性和流程 DATAGURU专业数据分析社区 RapidMiner 开源数据挖掘工具讲师郭振未QQ 应用CRISP数据挖掘模型  让我们回想一下第1课中介绍的，CRISP数据挖掘方法要求在构建任何实际数据挖掘模 型之前，都要经过三个阶段。在上述“背景和概要说明”部分，Jerry有一些任务需要 完成，其中每项任务都属于CRISP前三个阶段中的其中一个阶段。首先，Jerry必须确 保明确地的了解组织。公司开展此项目的目的是什么？为什么他要调查互联网用户？ 哪些数据项是要收集的重要数据项，哪些数据项是最好要收集的，哪些数据项与项目 无关甚至会扰乱项目？收集数据后，哪些人可以访问数据集，以及通过什么机制访问 ？公司将如何确保隐私得到保护？早在Jerry开始创建上述第二段中提到的调查之前， 所有这些问题（或许还有其他问题）即应得到解答。 DATAGURU专业数据分析社区 RapidMiner 开源数据挖掘工具讲师郭振未QQ 应用CRISP数据挖掘模型  这些问题得到解答后，Jerry即可开始创建调查。这时将进入了解数据阶段。将使用什 么数据库系统？使用什么调查软件？他将使用可公开获得的工具（例如 SurveyMonkeyTM ）、商用软件，还是内部开发的软件？如果使用可公开获得的工具 ，他将如何访问并提取数据进行挖掘？他是否可以信任这个第三方工具会保护他的数 据？如果信任，为什么？将如何设计基本数据库？将实施哪些机制来确保数据的一致 性和完整性？这些都是了解数据方面的问题。确保一致性的一个简单示例是如果要作 为数据的一部分收集人们所在的城市。如果在线调查只提供用于输入内容的开放文本 框，则调查对象可以输入任何内容作为他们所在的城市。他们可能会输入新建York、 NY、N.Y.、Nwe York或任何其他可能的组合，包括拼错的情况。通过迫使用户从下拉 菜单中选择他们所在的城市，可以避免这种问题。但考虑到大多数国家/地区的城市