大数据技术及应用培训精选课件.pptVIP

大数据技术 大数据系统 * 大数据技术 大数据存储问题 文件存储 千万级的大文件存储：如视频 亿级的中等文件存储：如文档 十亿级的小文件存储：如图片缩略图 不同文件存储对于系统需求不同 结构化数据 亿级的结构化数据存储 查询、统计、更新等操作效率低 大数据系统-存储 * 大数据技术 大数据存储的最主要的论文 CAP Theorem Consistency, Availability and Partition Tolerance Google的GFS和BigTable GFS一种存储海量大文件的存储系统 BigTable提出了一种Schemaless的表数据模型 Amazon的Dynamo Dynamo的模型更简单，它将数据按key进行hash存储，K-V Store Gossip protocol (discovery and error detection) Distributed key-value data store Eventual consistency * 大数据技术 Relational Key-Value Column-Oriented Document-Oriented RDBMS(Oracle,MySQL),Aster Data Vertica MongoDB,Terrastore HyperTable,Hbase Redis,Berkeley