大数据下资源整合和知识共享(下).pptVIP

大数据下的 资源整合和知识共享（下） ;;;（二）大数据相关技术;;三个层次;;HDFS包含了一个Namenodes，还有很多的Datanodes。 Namenodes进行一个元数据的管理，Datanodes保存在不同的物理设备上。 Datanodes里面绿色的小方框，是存储块。;10K nodes, 100 million files, 10 PB;;MapReduce 流程;HBase是一个开源的非关系型分布式数据库(NoSQL)，它参考了谷歌的BigTable建模，实现的编程语言为Java。 它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似BigTable 规模的服务。 因此，它可以容错地存储海量稀疏的数据。;Hive是基于Hadoop的一个数据仓库工具。 主要考虑大数据查询效率问题的解决，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。 可以将SQL语句转换为MapReduce任务进行运行。;说明： Hive具有容错的机制。;Pig;;大数据的数据挖掘与机器学习，是大数据技术的核心，也是人工智能的核心。;数据挖掘案例：购物篮分析;机器学习;3.数据交互与可视化;信息可视化;技术： 分布式实时渲染（GPU/CPU） 多层次交互可视分析(Level of Details ) 结合数据挖掘/机器学习的智能可视化;;（一）智慧城市;城市空气质量全方位实时监控;存在问题和挑战;POI;1;空间 分类器;优势 ;2.智能交通;如何做;问题二：全城的汽车油耗与尾气排放实时监控;大数据解决方案;（二）智能社会;1.大数据与智能超市;目标：探索消费者购物行为，实现对超市科学布局以及商品货架摆放；此外，为营销策划提供决策支持，最终提供春节促销方案。;大数据解决方案;;2.大数据与电商;推荐;4.大数据与社交媒体;社交网络分析;情感分析的作用;5.大数据与社会问题监管;6.大数据与日常运作;总结