大数据应用与人工智能技术手册.docxVIP

大数据应用与技术手册

第1章数据采集与处理

1.1数据来源与类型

数据来源是大数据应用与技术的核心基础，通常包括结构化数据、非结构化数据、实时数据、历史数据等。结构化数据如数据库中的表格数据，常见于企业ERP、CRM系统；非结构化数据包括文本、图片、视频、音频等，广泛存在于社交媒体、用户评论、新闻文章等场景中；实时数据是指在数据时即被采集并处理，如物联网传感器数据、交易流水数据；历史数据则是长期存储的记录，用于趋势分析和预测建模。数据来源可以分为内部数据和外部数据。内部数据包括企业内部系统的数据，如用户行为日志、交易记录、传感器数据等；外部数据则来自第三方平台、公开数据集、API接