大数据分析与市场调研手册.docx

大数据分析与市场调研手册

第1章大数据基础理论与技术架构

1.1数据全生命周期管理流程

数据全生命周期是指数据从产生、采集、清洗、存储、分析到最终应用和销毁的完整闭环过程。在手册中，我们首先定义“数据资产化”的概念，即数据必须经过标准化处理后才能被业务系统调用，任何未经过清洗和脱敏的数据都视为“脏数据”，无法直接用于决策。在采集阶段，需建立多源异构数据的接入规范，包括结构化数据库（如Oracle、MySQL）、非结构化文件（如Excel、PDF、日志文件）以及半结构化数据（如JSON、XML）。系统应支持通过API接口或ETL工具将不同来源的数据统一转换为本平台标准格式，