2.3 数据处理技术.pptxVIP

数据处理技术

数据采集与清洗技术数据分析技术数据可视化技术0目录CONTENTS

数据采集与清洗技术

数据采集与清洁技术常见数据采集技术网络爬虫技术：网络爬虫技术可以自动化地从互联网上爬取各种网站上的数据，如商品信息、用户评论等。API接口技术：API也称为应用程序接口，是一组定义、程序及协议的集合，通过API接口可以实现计算机软件之间的相互通信。同时API也是一种中间件，为各种不同平台提供数据共享。API接口技术可以通过调用不同网站开放的API接口来获取相关数据。

数据采集与清洁技术数据清洗技术数据去重：是指在一组数据中，去除重复的数据，只保留其中一个或几个数据的过程。在进行数据去重的过程中，需要先找出其中重复的数据，然后将其删除或保留一个。可以通过EXCEL表格或其他数据处理工具进行。数据过滤：是指根据特定条件筛选出符合条件的数据，去除不符合条件的数据的过程。可以去除无效数据和异常数据，提高数据准确性，如可以采用EXCEL的筛选功能或代码实现：数据归一化：数据归一化可以将不同单位的数据转化为同一单位，方便后续数据分析和处理。常见的归一化方法包括：最大最小归一化、Z-Score归一化、小数定标标准化等，不同的归一化方法适用于不同的场景，需要根据数据的分布和具体问题进行选择。

数据分析技术

数据分析技术常见的数据分析技术关联分析对比分析聚类分析留存分析象限分析