大数据平台简介-医学课件.pptVIP

Hive开发使用-Hive的数据模型 外部表 外部表指向已经在HDFS中存在的数据，可以创建Partition。它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异。内部表的创建过程和数据加载过程这两个过程可以分别独立完成，也可以在同一个语句中完成，在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除。而外部表只有一个过程，加载数据和创建表同时完成（CREATE EXTERNAL TABLE ……LOCATION），实际数据是存储在LOCATION后面指定的 HDFS 路径中，并不会移动到数据仓库目录中。当删除一个External Table时，仅删除该链接。 Hive开发使用-Hive的数据模型 如何选择使用内部表或外部表？ 如果所有处理都由hive来完成，则使用内部表 如果需要用hive和外部其他工具处理同一组数据集，则使用外部表。 Hive开发使用-Hive的数据模型 分区 Partition对应于关系数据库中的Partition列的密集索引，但是Hive中Partition的组织方式和数据库中的很不相同。在Hive中，表中的一个Partition对应于表下的一个目录，所有的Partition的数据都存储在对应的目录中。例如pvs表中包含ds和city两个Partition，则 对应于ds = city= jinan 的HDFS子目录为：/wh/pvs/dscity=jinan ； 对应于 ds = city= qingdao 的HDFS子目录为：/wh/pvs/dscity=qingdao 。 Hive开发使用-Hive的数据模型 桶 Buckets是将表的列通过Hash算法进一步分解成不同的文件存储。它对指定列计算hash，根据hash值切分数据，目的是为了并行，每一个Bucket对应一个文件。分区是粗粒度的划分，桶是细粒度的划分，这样做为了可以让查询发生在小范围的数据上以提高效率。适合进行表连接查询、适合用于采样分析。 例如将user列分散至32个bucket，首先对user列的值计算hash，则 对应hash值为0的HDFS目录为：/wh/pvs/dsctry=US/part-00000； 对应hash值为20的HDFS目录为： /wh/pvs/dsctry=US/part-00020。 如果想应用很多的Map任务这样是不错的选择。 Hive开发使用-Hive的数据模型 Hive的视图 视图与传统数据库的视图类似。视图是只读的，它基于的基本表，如果改变，数据增加不会影响视图的呈现；如果删除，会出现问题。如果不指定视图的列，会根据select语句后的生成。 视图的简单示例： 创建表：create view test_view as select * from test; 查看数据：select * from test_view; Hive开发使用-Hive的数据存储模型 数据库 （database） 表 （table） 表 （table） 常规数据 （data） （Buckets） 桶 （Buckets） 桶 分区 （Partition） 分区 （Partition） （Buckets） 桶 （Buckets） 桶 Hive开发使用-Hive创建数据表命令 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION）， 有分区的表可以在创建的时候使用 PARTITIONED BY 语句。一个表可以拥有一个或者多个分区，每一个分区单独存在一个目录下。 表和分区都可以对某个列进行 CLUSTERED BY 操作，将若干个列放入一个桶（bucket）中。 可以利用SORT BY 对数据进行排序。这样可以为特定应用提高性能。 默认的字段分隔符为ascii码的控制符\001(^A) tab分隔符为 \t。只支持单个字符的分隔符。 如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCE 。 CREATE [EXTERNAL] TABLE [IF NO