用户行为分析大数据平台的选型.pptxVIP

使用AVRO序列化数据Hadoop的子项目基于二进制传输高性能中间件支持数据密集型应用第1页/共20页第一页，共20页。 依赖模式实现数据结构定义支持二进制编码和JSON编码支持压缩功能支持数据排序功能序列化时速度快且结果内容少AVRO特点第2页/共20页第二页，共20页。 使用Parquet列式存储Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月升级为Apache顶级项目。第3页/共20页第三页，共20页。 Parquet列式存储特点可以跳过不符合条件的数据，只读取需要 的数据，降低I/O吞吐量压缩编码可以降低磁盘存储空间支持向量运算，能够获取更好的扫描性能查询性能提升30倍，存储空间节约75%第4页/共20页第四页，共20页。 列式存储 VS 行式存储传统的RDBMS提供ACID原子操作和事务， 在大多数列式存储数据库上是不具备的，而大 多数列式存储数据库对分布式架构支持的更好。需要了解的是列式存储以及行式存储在查询 和存储上的本质，在技术选型上可以多点筹码。第5页/共20页第五页，共20页。 使用 Apache SqoopETL转换工具RDBMS = HDFS对某些NoSQL数据库亦提供支持第6页/共20页第六页，共20页。 使用Apache KafkaKafka是一种高吞吐量分布式发布订 阅消息系统，它可以处理消费级规 模网站中的所有动作流数据。第7页/共20页第七页，共20页。 实时数据流（real-time data streaming）水平可扩展（horizontally scalable）容错机制（fault tolerance）支持分区（partition）出奇的快（wicked fast）Kafka特点第8页/共20页第八页，共20页。 使用Apache Spark高性能，执行速度100倍于Hadoop支持Java、Scala、Python、R语言支持SQL、机器学习、图运算、流支持Hadoop、CAssandra、HBase支持独立部署运行第9页/共20页第九页，共20页。 LOREMIPSUMSpark基于这样的理念：当数据 庞大时，把计算过程传递给数据 要比把数据传递给计算过程要更 有效率。每个节点存储它的数据 集，然后任务被提交给节点。第10页/共20页第十页，共20页。 使用DruidDruid是一个面向列式存储的高性能分布式数据仓库。第11页/共20页第十一页，共20页。 高速聚合，亚秒级OLAP查询流数据注入，实时多维度查询集群动态扩展，PB级数据量，每秒百万级事件注入低成本部署，与现有数据系统无缝集成Druid特点第12页/共20页第十二页，共20页。 使用Impala进行离线查询Impala是Cloudera公司 主导开发的新型查询系 统，它提供SQL语义， 能查询存储在Hadoop的HDFS和HBase中的PB级大数据。第13页/共20页第十三页，共20页。 中间结果放在内存中，节约大量I/O开销省掉了MapReduce作业启动的开销采用数据仓库MPP设计思想C++实现，做了很多有针对性的硬件优化支持Data locality的I/O调度机制Impala的特点第14页/共20页第十四页，共20页。 Hive是基于Hadoop的一个数据仓库工具， 可以将结构化的数据文件映射为一张数据 库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。第15页/共20页第十五页，共20页。 HIVE特点支持索引，加快数据查询不同的存储类型将元数据保存在关系数据库中，大大减少了在查询过程中执行语义检查的时间。可以直接使用存储在Hadoop 文件系统中 的数据。支持UDF函数来完成内置函数无法实现的操作。类SQL 的查询方式，将SQL 查询转换为MapReduce 的job 在Hadoop集群上执行。第16页/共20页第十六页，共20页。 Hadoop分布式文件系统(HDFS)被设 计成适合运行在廉价硬件上的分布式 文件系统。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的， 目前是Apache Hadoop Core项目的 一部分。第17页/共20页第十七页，共20页。 高容错性（fault-tolerant）形式访问（streaming access）支持千万级别文件（tens of millions）异构平台可移植性（heteron portablity）HDFS特点第18页/共20页第十八页，共20页。 典型大数据平台架构第19页/共20页第十九页，共20页。 内容总结使用AVRO序列化数据。支持二进制编码和JSON编码。Kafka是一种高吞吐量分布式发布订 阅消息系统，它可以处