大数据技术如何应用于传统的信息系统45.pptxVIP

大数据技术如何应用亍 传统信息系统 提纲 大数据技术研究背景和问题 开源软件Apache Hadoop 大数据处理系统关键技术 大数据技术从互联网走向传统应用 背景：大规模数据计算  通信、网络、存储、传感器等电子信息技术飞速发展导致 数据规模极大增加 – Big Data  传统的存储并处理这些数据的技术手段遇到瓶颈 Search Engine Data Warehousing Log Processing/User Behavior Analyzing Processing 100TB datasets Online/Realtime/Stream ing Data Analysis 数据 为王 One node Scanning@50MB/s = 35,000 min 1000 node Scanning@50MB/s=35 min 背景 – 大数据的大问题 2020年： 数据量将达到35ZB，较2009年增大44倍 来源：IDC Digital Universe Study, May 2010 2020年： 60%以上的创造数据将因无法存储而丢失。 • Facebook用户每天上传3亿张照片，超过 500TB的数据增长量，100PB单集群存储 容量 • Google索引的在线数据2002年是5EB，到 2009年增长到280EB • 淘宝网注册用户达到3.7亿，在线商品