大数据平台思维导图.pdfVIP

用户画像 业务相关 风险控制 数据科学的领域 ，了解统计学、算法 工作应用 决策相关 数据科学家 如何实施、实现、解决什么业务 工程相关 数据工程师 特点决定数据采集和数据存储的技术选型 Hadoop mongo 内部主动写入 CRM Apache Kafka 数据源 ORACLE 内外部 获得外部数据本身提供的api 调用api获取 ，如微信 外部网络拉取 写爬虫获取 ETL ，由ETL进行数据提取、转换、加载 ，清洗、去重、 特点 数据结构不一致 ，需要转换和清洗加工 去噪 大数据平台 四种 结构化和非结构化数据 结构化偏向文件 ，NoSQL数据库