数据采集与处理2018 数据整理 数据采集与处理-单元4教材（样板章）.docx

单元4 数据整理 ◆ 学习目标 通过本单元学习，你应该达到以下目标: 知识目标:学习和了解利用Power Query工具进行数据整理的概念和方法。 技能目标:运用本单元理论与实训知识研究相关任务，能对数据进行抽取操作、能对数据进行转换，包括拆分、合并和提取数据、行列管理及筛选、数据格式的转换、转置和反转、透视和逆透视等操作、能对数据进行转置和反转操作、能对数据进行存储操作。 ◆ 单元结构  ◆ 学习内容 【基础知识】 4.1数据抽取 4.1.1引言 使用 Power Query 可以连接到单个数据源（如 Excel 工作簿），也可以连接到分散在云中的多个数据库、源或服务。 然后，可以使用 Power Query 和你自己的独特组合汇集所有这些源。 可从“Power Query”功能区中的“获取外部数据”部分连接到数据源。 数据源包括来自网站、文件、数据库、Azure、其他源，甚至 Excel 工作簿中的表格的数据。见图4-1：使用Power Query获取外部数据。 图 图4-1使用Power Query获取外部数据 4.1.2从Excel抽取数据 1．单击功能区中的【Power Query】→【获取外部数据源】→【从文件】→【从Excel】选项（见图4-2）。 图4-2 2．浏览导入数据窗口中的工作簿，勾选选择多项，勾选食材（见图4-3）。 图4-3 3．点击【编辑】按钮，将表格导入到【Power Query编辑器】（见图4-4）。 图4-4 4.1.3从文本抽取数据 1．单击功能区中的【Power Query】→【获取外部数据源】→【从文件】→【从文本／CSV文件】选项（见图4-5）。 图4-5 2．选择需要转换的文本文件，并打开（见图4-6）。 图4-6 3．点击【加载】或【编辑】按钮（见图4-7）。 图4-7 4．如选择【编辑】按钮，则将数据导入到【Power Query编辑器】窗口，可以在此窗口编辑数据（见图4-8）。 图4-8 4.1.4从Excel表格抽取数据 1．单击功能区中的【Power Query】→【获取外部数据源】→【从表／范围】选项（见图4-9）。 图4-9 2．进入【Power Query编辑器】，选择关闭并上载至，进入加载到页面，选择“现有工作表”（见图4-10）。 图4-10 3．选择好存放位置，点击【加载】按钮，将原表格数据加载到目的位置（见图4-11）。 图4-11 4．这样就建立了原表格数据和现有表格数据的连接，如原表格数据发生变化，现有表格数据也会相应发生变化，如图4-12，将原表格中的“深圳”改为“广州”，则导入表格中的数据也发生了相应的变化。 图4-12 4.1.5从数据库抽取数据 1．单击功能区中的【Power Query】→【获取外部数据源】→【从数据库】→【从SQL Server数据库导入数据】选项（见图4-13）。 图4-13 2．SQL Servver服务器中输入localhost,即本地数据库数据库名可以填入，也可以不填，此处不填（见图4-14）。 图4-14 3．选择连接 SQL Server 数据库的身份验证模式： （1）Windows：这是默认选中的选项。 如果要使用 Windows 身份验证连接，则选择此项。 （2）数据库：如果要使用 SQL Server 身份验证进行连接，则选择此项。 选则此项后，指定用户名和密码以连接到 SQL Server 实例。 在此我们选择默认的选项（见图4-15）。 图4-15 4．进入导航器界面，选择Xk数据库中的student表格，并选择“编辑”按钮，进【Power Query编辑器】界面（见图4-16，图4-17） 图4-16 图4-17 4.1.6从Web抽取数据 1．单击功能区中的【Power Query】→【获取外部数据源】→【从Web】选项（见图4-18）。 图4-18 2．在URL中输入网址：如 /data/teamrank,进入导航界面（见图4-19）。 图4-19 3．导航界面中，勾选“选中多项”，选择“table0”,“table1”两种表格，点击【编辑】按钮，进入【Power Query编辑器】界面（见图4-10，图4-21）。 图4-20 图4-21 通过以上的几种操作，将数据被加载到【Power Query编辑器】中后，可以进行后续的数据整理工作，如数据转换、数据组合和数据存储等操作。 【案例】 将一个工作簿中的多张工作表合并到一张工作表中。 案例分析：本案例主要是完成将多张工作表的内容合并在一张工作表中，并将工作表抽取到【Power Query编辑器中】，最后将内容加载到表格中保存。 操作步骤： 将数据源【从Excel文件】导入到【Power Qu