云计算和大数据概览 .pptVIP

* 舆情监控社会传感网络 舆情系统：数据采集模式 一级社会传感网络：活跃的敏感网站，实时监控 二级社会传感网络：包含有害信息站点，定时扫描 三级社会传感网络：一般性网站，关键词定期巡查 云计算与大数据 大数据应用运行在 云平台之上 如果数据是财富，那么大数据就是宝藏； 云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花； 没有大数据的存储和积淀，云计算也只能是杀鸡用的宰牛刀！ 大数据市场分析 1 2011年-2016年中国大数据市场规模 2 各行业大数据市场规模 政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。 由于各个行业都存在大数据应用需求，潜在市场空间非常可观。 2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。 2012年中国大数据市场规模达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。 国际企业角力大数据 EMC EMC的大数据解决方案专注于使组织更有效地使用他们从不同来源产生的数据，包括网络上，网页上，消费者，监控系统和传感器。 EMC的数据计算产品事业部正在开发分析工具以解决大数据现象。 EMC的大数据解决方案包括40多个产品。 2010年7月收购数据库软件供应商Greenplum，花费3亿美元 2009年七月收购数据复制解决方案提供商Data Domain，花费24亿美元 不一定和大数据完全相关，EMC从2009年起收购了Archer Technologies, SourceLabs, FastScale Technology, Configuresoft, and Varonis Systems。 IBM IBM的策略是提供一个全面的方法来解决前所未有的信息爆炸提出的挑战，因为信息量无论在流量、种类、速度还是活力上都是爆炸式增长 IBM一直致力于扩大对包括数据仓库中的大数据、信息流和结构化数据的分析 在过去四年中，IBM已经投入超过120亿美元进行了23项相关并购，其中包括： 2010年9月收购数据库分析供应商Netezza公司，花费17亿美元 2010年10月收购网络分析软件供应商Coremetrics 2009年10月收购数据分析和统计软件提供商SPSS, 花费12亿美元 2009年1月收购业务规则管理软件供应商ILOG, 花费3亿4千万美元 2007年花费20亿美元收购商务智能软件供应商Cognos 微软 微软提供了高性能计算能力，并在2005年靠Windows Compute Cluster服务器进入相关市场 最近，微软的HPC部门开发了该公司的Dryad?并行处理技术社区技术预览(CTP),第一步是向Windows HPC Server的用户提供处理大数据工具 甲骨文 甲骨文大数据提供的数据库和数据库软件主要用于配合Sun的硬件，特别是它的最高端服务 2009年7月收购专注于数据复制和实时数据集成解决方案的私人企业GoldenGate Software 大数据的产业价值链 数据 数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。 技术 技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。 思维 有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。 分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等 大数据技术体系：取、存、管、用 存储 结构化数据： 海量数据的查询、统计、更新等操作效率低 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储 解决方案： Hadoop（MapReduce技术） 流计算（twitter的storm和yahoo！的S4） 大数据核心技术需求 高并发读写 大数据核心技术需求 高效率存储 和访问 高可扩展性和高可用性 低成本建设 运维 保证一致性的开销过大，难以实现高并发 存储性能受限于控制器，性能难以保证 关系型表单存储难以适应不同数据类型 上亿行数据的超级达标效率极低 传统基于盘阵的存储设备，造价昂贵，且市场垄断严重，建设成本居高不下，