Hadoop典型应用与企业化之路.pdfVIP

Hadoop的典型应用与企业化之路 Etu 知意图 解决方案技术总监 席延胜 daniel_xi@ 2012年9月25日 主题 • 大数据与Hadoop • Hadoop的典型应用 • 企业应用Hadoop的挑战 • Etu 知意图大数据一体机 （Hadoop-based ） • Etu 知意图团队 2 大数据时代来临 移动/ 互联网 Mobile/Internet 物联网 Unstructured (非结构化) Internet of Things • Web Pages • E-mail • Multimedia • Instant Messages • More Binary Files Semi-structured (半结构化) • XML • Logs • Click-stream Structured (结构化) • Equipment / Device • Relational Database • RFID tag • File in record format 3 什么是大数据 所谓 “大数据” ，是指数据量太大以至于目前手头的 数据管理工具已经不便于管理数据。 大数据处理技术代表了新一代的技术架构，这种架构 通过高速获取数据并对其进行分析和挖掘，从海量形 式各异的数据源中更有效地抽取出富含价值的信息。 从大量数据中挖掘高价值知识是各界对于大数据的一个共识。 海量数据可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。 ——Google 首席经济学家 Hal Varian Volume （大容量 ）：数据体量巨大 4V Variety （多形式 ）：包含结构化、半结构化和非结构化数据 Velocity