第三章 Oracle海量数据处理之表分区.ppt

大数据学习小结 什么叫大数据 大数据（big data），是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 特征 Volume（大量） Velocity（高速） Variety（多样） Value（价值） 为什么要研究大数据 著名的例子：啤酒喝尿布 全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒+尿布”的数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道。 身边的经典例子 个人上网，购物推荐提示 大数据分析技术 Apache Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 ORACLE-表分区 1、范围分区 根据数据库某一字段的值范围划分分区 create table TestTable ( date_time datetime, …… ) partition by range(date_time) ( partition part1 VALUES less THAN to_date(2010-10-1, yyyy-mm-dd), partition part2 VALUES less THAN (2015-12-1) TABLESPACE TS02, partition partMax values less than (maxvalue) TABLESPACE TSMAX ) ORACLE-表分区 2、列表分区 列表分区明确指定了根据某字段的某个具体值进行分区，适合某列只有具体的一些值 create table TestTable ( testCol varchar2(2), …… ) partition by list(testCol) ( partition part1 values(1), partition part1 values(2), partition p_other values (default) ) ORACLE-表分区 3、散列分区 这类分区是在列值上使用散列算法，以确定将行放入哪个分区中。当列的值没有合适的条件时，建议使用散列分区。hash分区会将表中的数据平均分配到你指定的几个分区中 create table TestTable ( testCol varchar2(2), …… ) partition by hash(testCol) ( partition part1 tablespace tablespace01, partition part2 tablespace tablespace02 ) ORACLE-表分区 4、复合分区 分区内再建分区就是复合分区。 　　复合分区呢在10g中有两种：range-hash，range-list。注意顺序，根分区只能是range分区，子分区可以是hash分区或list分区。 create table TestTable ( date_time datetime,, testCol2 varchar2(2) ) partition by range(date_time) subpartition by hash(transaction_id) subpartitions 2 store in (tablespace01,tablespace02