《Python数据分析》课件 项目四 Python大数据分析基础综合应用.pptxVIP

Python数据分析

项目四Python大数据分析基础

综合应用

知识引入数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析的基本步骤包括需求分析、数据清洗、数据分析、数据可视化、综合应用等。本项目将详细解构数据分析各个步骤。

知识框架

目录任务一需求分析任务二数据清洗任务三数据分析任务四数据可视化任务五综合应用

需求分析也称为软件需求分析、系统需求分析或需求分析工程等，是开发人员经过深入细致的调研和分析，准确理解用户和项目的功能、性能、可靠性等具体要求，将用户非形式的需求表述转化为完整的需求定义，从而确定系统必须做什么的过程。本任务以校企合作项目企业职前通三年的招聘数据为抓手，对标企业招聘人才需求，利用大数据技术进行招聘数据分析与预测，主要介绍如何基于招聘信息进行需求分析、数据分析技术路线、认识业务数据等。任务介绍任务一需求分析

基于招聘项目的需求分析大数据

以招聘数据为载体，开发校企合作真实项目“开发某职位智能推荐系统”基于招聘项目的需求分析

基于招聘项目的需求分析需求分析数据清洗数据分析数据可视化综合应用基于招聘信息的需求分析，主要关注两个核心的关键字：明确需求数据分析技术路线

基于招聘项目的需求分析第一步：根据实际业务明确需求第二步：要掌握数据分析技术路线

基于招聘项目的需求分析明确需求是有效进行数据分析的首要条件，也是整个数据分析过程的起点。需求分析包括三个阶段：发现问题、需求确认、需求处理。在发现问题阶段，需要具备数据分析思维，发现有效问题，并能够根据问题进行拆解与归类。有个初步的方向之后，下一步就是需求确认，了解清楚需求背景，才能明白这个需求的意义。最终要确认需求完成的总时间，以及每个需求完成的详细时间计划。最后的需求处理阶段，根据确定的需求，形成需求分析结果，在企业中最常见的是形成需求分析报告，指导开发人员进行需求功能开发和分析，同时也作为汇报需求的最为重要的参考。

基于招聘项目的需求分析以招聘信息作为业务背景，梳理需求分析的过程：发现问题：针对各个招聘网站、在校毕业生等多种渠道进行调研后，发现岗位所在城市、企业规模、岗位薪资、学历要求、技术要求等是关注较多的点

基于招聘项目的需求分析以招聘信息作为业务背景，梳理需求分析的过程：需求确认：1、各城市某岗位数量统计2、各城市岗位总数统计3、各城市某岗位薪资平均值4、学历要求关键字5、经验与薪资水平的关系6、职位要求关键字7、岗位需求最多TOP108、大数据相关岗位能力要求……

基于招聘项目的需求分析以招聘信息作为业务背景，梳理需求分析的过程：需求处理：根据确认的需求撰写需求分析报告

基于招聘项目的需求分析通常原始数据不能被直接使用，其中可能存在重复数据、错误数据等，因此首先要对原始数据进行清洗，然后将得到的数据采用类似分组聚合等方法进行数据分析，最终将数据分析结果以可视化的形式展示出来。数据清洗——数据分析——数据可视化数据分析技术路线

基于招聘项目的需求分析数据分析技术路线需求分析数据清洗数据分析数据可视化综合应用

1、描述需求背景2、总结需求问题3、数据分析技术路线包含哪几个步骤？4、在数据分析技术路线中每个步骤需要完成的内容是什么？任务：基于招聘数据描述需求背景及总结需求问题、数据分析技术路线总结任务一需求分析

在数据分析技术路线中，第一步是数据获取。我们需要对收集的数据有一定的认知，对各字段的含义和背景知识都要有着足够的理解，因此首先需要掌握访问数据的方法，才能看到数据细节。同时，经过数据清洗与整理、数据分析之后得到的结果数据也需要进行保存，留作进一步分析使用。本任务主要介绍访问数据的方法，重点关注使用pandas进行数据输入和输出。认识业务数据认识业务数据

将表格型数据读取为DataFrame对象是pandas的重要特性。在实际应用中，read_csv和read_table两个函数将是我们使用最多的函数。文本格式数据的读写认识业务数据函数描述read_csv从文件、URL或文件型对象读取分隔好的数据，逗号是默认分隔符read_table从文件、URL或文件型对象读取分隔好的数据，制表符(\t)是默认分隔符

CSV是一种常用的存储表格数据的文件格式，在数据分析领域也是经常被使用的文件格式之一。CSV文件是逗号分隔的，我们可以使用read_csv函数将它读入到一个DataFrame中。CSV文件读取认识业务数据

上述代码中，传入read_csv中的joblist.csv文