ETL大数据之技术核心.docx

? ? ? ? ? ? ? ? ETL: 大数据之技术核心 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? CSDN大数据 今天，我们抛开大数据的概念与基本知识，直接进入核心。我们从数据采集、数据存储、数据管理、数据分析与挖掘，四个方面讨论大数据在实际应用中涉及的技术与知识点。 核心技术 架构挑战： 1. 对现有数据库管理技术的挑战。 2. 经典数据库技术并没有考虑数据的多类别（Variety）、SQL（结构化数据查询语言），在设计的一开始是没有考虑到非结构化数据的存储问题。 3. 实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行1-2天获得结果依然没什么问题。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。 4. 网络架构、数据中心、运维的挑战：随着每天创建的数据量爆炸性的增长，就数据保存来说，我们能改进的技术却不大，而数据丢失的可能性却不断增加。如此庞大的数据量存储就是首先面临的非常严峻的问题，硬件的更新速速将是大数据发展的基石，但效果确实不甚理想。 分析技术： 1. 数据处理：自然语言处理技术（NLP） 2. 统计和分析：A/B test、top N排行榜、地域占比、文本情感分析 3. 数据挖掘：关联规则分析、分类、聚类 4. 模型预测：预测模型、机