阿里大数据计算服务MaxCompute-基本介绍D.docx

大数据计算服务MaxCompute基本介绍基本介绍基本概念项目空间（Project）是 MaxCompute 的基本组织单元，它类似于传统数据库的Database 或 Schema 的概念，是进行多用户隔离和访问控制的主要边界。一个用户可以同时拥有多个项目空间的权限。通过安全授权，可 以在一个项目空间中访问另一个项目空间中的对象，例如：表(Table)，资源(Resource)，函数(Function)， 实例(Instance)use my_project -- 进入一个名为my_project的项目空间用户可以通过 Use Project 命令进入一个项目空间，例如：运行此命令后，用户会进入一个名为my_project的项目空间，从而可以操作该项目空间下的对象，例如：表(Table) ，资源(Resource)，函数(Function)，实例(Instance)等，而不需要关心操作对象所在的项目空间。Use Project 是ODPS客户端提供的命令。在详细介绍这部分内容之前，文档会对这些命令做简短的介绍说明，具体说明请参考 ODPS常用命令 。表是 MaxCompute 的数据存储单元。它在逻辑上也是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段，一条记录可以包含一个或多个列，各个列的名称和类型构成这张表的 Schema。在 MaxCompute 中，所有的数据都被存储在表中。表中的列可以是 MaxCompute 支持的任意种数据类型(Bigint，Double，String，Boolean，Datetime)。MaxCompute 中的各种不同类型计算任务的操作对象(输入、输出)都是表。用户可以创建表，删除表以及向表中导入数据。分区表指的是在创建表时指定分区空间，即指定表内的某几个字段作为分区列。在大多数情况下，用户可以将 分区类比为文件系统下的目录。MaxCompute 将分区列的每个值作为一个分区(目录)。用户可以指定多级分区，即将表的多个字段作为表的分区，分区之间正如多级目录的关系。在使用数据时如果指定了需要访问的分区 名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低费用。create table src (key string, value bigint) partitioned by (pt string); -- 目前，MaxCompute 仅承诺String类型分区select * from src where pt -- 正确使用方式。MaxCompute 在生成查询计划时只会区的数据纳入输入中select * from src where pt = -- 错误的使用方式。在这样的使用方式下，MaxCompute并不能保障分区过滤机制示例：的有效性。pt是String类型，当String类型与Bigint比较时，MaxCompute会将二者转换为Double类型，此时有 可能会有精度损失。备注：- 详细介绍请参见 分区表 中的介绍。MaxCompute 表中的列必须是下列描述的任意一种类型，各种类型的描述及取值范围包括：类型描述取值范围Bigint8字节有符号整型。请不要使用整 型 的 最 小 值 (- 9223372036854775808)，这是系统保留值。-9223372036854775807 ~9223372036854775807String字符串，支持UTF-8编码。其他编码的字符行为未定义。单个String列最长允许8MB。Boolean布尔型。True/FalseDouble8字节双精度浮点数。-1.0 10308 ~ 1.0 10308Datetime日期类型。使用东八区时间作为系统标准时间。0001-01-01 00:00:00 ~ 9999-12-31 23:59:59备注：- 各种数据类型均可以为NULL。资源(Resource)是 MaxCompute 的特有概念。用户如果想使用 MaxCompute 的 自定义函数(UDF) 或MapReduce 功能需要依赖资源来完成，例如：SQLUDF: 用户在编写UDF后，需要将编译好的jar包以资源的形式上传到ODPS。运行这个UDF时，MaxCompute 会自动下载这个jar包，获取用户代码，运行UDF，无需用户干预。上传jar包的过程就是在 MaxCompute 上创建资源的过程，这个jar包是 MaxCompute 资源的一种。MapReduce: 用户编写MapReduce程序后，将编译好的jar包作为一种资源上传到ODPS。运行MapReduce作业时，MapReduce框架会自动下载这个ja