load到指定表的分区 - 中国云计算.ppt

Cassandra Cassandra Hive VoltDB Enomaly ECP Nimbus Sector and Sphere Sector and Sphere abiquo abiquo MongoDB MongoDB 体系结构 数据模型 数据模型 存储机制 存储机制 读/写删过程 读/写删过程 读/写删过程 读/写删过程 整体构架 查询流程图 数据模型 HQL语言 HQL语言 HQL语言 HQL语言 HQL语言 环境搭建 环境搭建 整体架构 自动数据分片技术 自动数据分片技术 习题 阅读精选 （1）表（Table） Hive中的表和关系数据库中的表的概念是相似的。表能被过滤、投影、连接和合并 （2）分区（Partition） 每一个表可以有一个或几个分区键，键值决定了数据是怎样存储 （3）桶（Bucket） 根据表中列的Hash值，每一个分区（Partition）中的数据都可以被分割成几部分存储到几个Bucket中 ?表和外表区别：表的创建过程和数据加载过程可以在同一个语句中完成。当删除表时，表中的数据和元数据是一同被删除的。而外表只有一个过程，即表的创建和加载是同时完成的。外表中，真正的数据是存储在（CREATE EXTERNAL TABLE…LOCATION）的LOCATION之后指定的HDFS路径中，而不是在数据仓库的目录之中。当删除外表时，并不删除实际的数据，只删除相应的元数据 ?除了基本的列数据类型（整型、单精度浮点型、字符串、日期和布尔型）以外，Hive也支持数组和图 1．DDL：Data Definition Language 创建表的示例 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path] Hive总体来说可以分为三种不同类型的表 （1）普通表 对应一个表名对应的文件，HQL如下： CREATE TABLE test_1(id INT, name STRING, city STRING) SORTED BY TEXTFILE ROW FORMAT DELIMITED‘\t’ （2）外部表 创建外部表时，仅仅记录数据所在的路径，而不对数据的位置做任何改变。在删除表时，内部表的元数据和数据会一起被删除，而外部表只删除元数据，不删除数据。具体HQL如下： CREATE EXTERNAL TABLE test_1(id INT, name STRING, city STRING) SORTED BY TEXTFILE ROW FORMAT DELIMITED \t LOCATION hdfs://../../.. ‘ （3）分区表 分区表实际是一个文件夹，表名即文件夹名。每个分区，实际是表名这个文件夹下面的不同文件。具体HQL如下： CREATE TABLE test_1(id INT, name STRING, city STRING) PARTITIONED BY (pt STRING) SORTED BY TEXTFILE ROW FORMAT DELIMITED \t 2. DML：Data Manipulation Language ?基本的加载数据例子如下： LOAD DATA [LOCAL] INPATH filepath [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] ?Hive在load数据这块，可以分为以下4种方式 （1）Load data到指定的表，具体HQL如下： LOAD D