大数据技术与应用培训教材.pptVIP

大数据技术 大数据系统 大数据技术 大数据存储问题 文件存储 千万级的大文件存储：如视频 亿级的中等文件存储：如文档 十亿级的小文件存储：如图片缩略图 不同文件存储对于系统需求不同 结构化数据 亿级的结构化数据存储 查询、统计、更新等操作效率低 大数据系统-存储 大数据技术 大数据存储的最主要的论文 CAP Theorem Consistency, Availability and Partition Tolerance Google的GFS和BigTable GFS一种存储海量大文件的存储系统 BigTable提出了一种Schemaless的表数据模型 Amazon的Dynamo Dynamo的模型更简单，它将数据按key进行hash存储，K-V Store Gossip protocol (discovery and error detection) Distributed key-value data store Eventual consistency 大数据技术 Relational Key-Value Column-Oriented Document-Oriented RDBMS(Oracle,MySQL),Aster Data Vertica MongoDB,Terrastore HyperTable,Hbase Redis,Berkeley DB,Scalaris Dynamo,Voldemort,TokyoCabinet Cassandra CouchDB,Riak 所有的客户端有统一的数据视图 网络出现分区时仍能够正常运行 客户端在任意时间都可以读写 大数据技术 NoSQL NoSQL是Not Only SQL的缩写，而不是Not SQL，它不一定遵循传统数据库的一些基本要求，比如说遵循SQL标准、ACID属性、表结构等等。 大数据技术 NoSQL系统 提高数据服务的交付能力，解决了数据集中与共享的问题，数据存储的高可扩展性，即使数据量达到PB级别，存储仍然可以在一定的成本范围内拥有良好的可扩展性 支持大量的并发执行和高效的分析型处理 大数据技术 大数据计算问题 海量数据带来计算快速性难以保证 结构变化导致计算模式变更 大数据处理解决方案 MapReduce技术 流计算技术：twitter的storm和yahoo的S4 大数据技术 MapReduce是一种常用的分布式编程模型，用于大规模数据集(通常大于1TB)的并行运算。 map map reduce reduce Local FS Local FS HTTP GET 大数据技术 On-line MapReduce 使用Map-Reduce的流水线执行机制，进行Map和Reduce任务的动态调度 HDFS Write Snapshot Answer HDFS Block 1 Block 2 Read Input File map map reduce reduce 大数据技术 大数据上的统计分析：Hive 建立在Hadoop/MapReduce上的数据仓库系统 提供HQL语句实现对Hadoop上的数据查询和分析机制 大数据技术 基于Hive及辅助索引技术，实现快速的数据统计分析 微博日志分析 50亿条/天 统计登陆人数/5分钟 大数据技术 分析结果应用 大数据技术 大数据存储 分布式文件系统：GFS、HDFS NoSQL系统 Key/Value Store: Amazon S3 (Dynamo)、Voldemort、Scalaris Schema-less：Bigtable、Hbase、MongoDB、Neo4j 大数据处理 MapReduce/Spark/Sworm RDB ? NoSQL Log?NoSQL 谢 谢 感谢聆听！ THANK YOU FOR WATCHING! 演示结束！ 模板来自于 * 大数据时代 “更杂”-满足精确性，包容混杂性 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框架且能适用于传统数据库的。如果不能接受混乱，剩下95%的非框架数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。 允许不精确 大数据的简单算法比小数据的复杂算法更有效 纷繁的数据越多越好 混杂性，不是竭力避免，而是标准途径 新的数据库设计的诞生 大数据时代的思维变革 大数据时代 “更好”-不是因果关系，而是相关关系 知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。 关联物，预测的关键 “是什么”，而不是“为什么” 改变，从操作方式开始 大数据，改变人类探索世界的方法 大数据时代的思维变