如何实现秒级对大数据实.PDFVIP

如何实现秒级对大数据的实 时分析? 人云科技团队  人云科技团队组建于2010年底，团队的成员主要来自于IBM中 国研究院，渣打银行，上海贝尔阿尔卡特，爱立信和EMC等著 名企业。  人云科技团队的使命是，推出具有鲜明特色的产品，并不断做精 做强，锻炼出自身的核心竞争力和技术底蕴，并且将中国的核心 技术产品推广到国外！ 个人介绍 吴朱华 云计算与大数据 大数据的挑战和机遇 挑战 – Volume ，PB级别为常态 – Variety ，结构化、半结构化、非结构化 – Velocity ，快速处理 机遇  More Findings ，网络舆情  Deep Insights ，用户画像  Priceless Results ，智能交通 大数据的处理流程 采集  简介：利用多种轻型数据库来接收发自客户端的数据，并 且用户可以通过这些数据库来进行简单的查询和处理工 作；  特点和挑战：并发数高；  使用的产品：MySQL ，Oracle ，HBase ，Redis和 MongoDB等，并且这些产品的特点各不相同 ； 统计/分析  简介：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等，以此满足大多数常见的分析需求；  特点和挑战：导入数据量大，查询涉及的数据量大，查询请求多；  使用的产品有：InfoBright ，Hadoop （Pig和Hive ），YunTable ， SAP Hana和Oracle Exadata ，除了Hadoop以做离线分析为主之外，其 他产品可以做实时分析； 挖掘  简介：基于前面的查询数据进行数据挖掘，来满足高级别 的数据分析需求；  特点和挑战：算法复杂，并且计算涉及的数据量和计算 量都大；  使用的工具：R ，Hadoop Mahout。 为什么需要实时分析？  数据是有时效性的；  催生新的商业模式；  YunTable是在分布式数据库和新的NoSQL技术的基础上 发展而来的新一代大数据实时分析DB。  YunTable最大的特色就是快，它能极快地导入海量的数 据，并极快地进行相关的分析，并且扩展能力很强。 功能特性  大数据，秒级内存计算 ；  采用廉价的x86硬件 ；  自动线性动态扩展至数百台集群 ；  每秒GB级别吞吐量，PB级别存储量 ；  SQL92特性覆盖 ；  数据安全性 ； 产品定位 Google Dremel 10000 YunTable 100 Oracle Exadata SAP Hana 1 集群规模 三大核心技术 这三个技术是处理海量结构化数据的必备利器， 因为这样I/O处理最优化，并能对热数据提供接 近内存计算的性能。 分布式架构 清晰的分布式架构能自动伸缩。 性能测试 客户是国内著名的互联网广告企业，这个Case的集群规 模只用了5台X86服务器，数据规模在百亿 行级别，性能和之前相比有几十倍的提升。 Info