odps_basic要点.pdf

开放数据处理服务ODPS 基本介绍 开放数据处理服务ODPS/基本介绍 基本介绍 基本概念 项目空间 项目空间（Project）是 ODPS 的基本组织单元，它类似于传统数据库的Database 或 Scheme 的概念，是进 行多用户隔离和访问控制的主要边界。一个用户可以同时拥有多个项目空间的权限。通过安全授权，可以在一 个项目空间中访问另一个项目空间中的对象， 例如：表(Table) ，资源(Resource) ， 函数(Function) ，实例 (Instance) 用户可以通过 Use Project 命令进入一个项目空间，例如： use my_project -- 进入一个名为my_project的项目空间 运行此命令后，用户会进入一个名为my_project的项目空间，从而可以操作该项目空间下的对象，例如：表 (Table) ， 资源(Resource) ，函数(Function) ， 实例(Instance) 等，而不需要关心操作对象所在的项目空间。 Use Project 是ODPS客户端提供的命令。 在详细介绍这部分内容之前，文档会对这些命令做简短的介绍说明 ，具体说明请参考 ODPS常用命令 。 表 表是 ODPS 的数据存储单元。它在逻辑上也是由行和列组成的二维结构，每行代表一条记录，每列表示相同数 据类型的一个字段，一条记录可以包含一个或多个列，各个列的名称和类型构成这张表的 schema。 在ODPS中，所有的数据都被存储在表中。表中的列可以是ODPS支持的任意种数据类型 (Bigint，Double，String，Boolean，Datetime)。ODPS中的各种不同类型计算任务的操作对象(输入、输出 )都是表。用户可以创建表，删除表以及向表中导入数据。 分区 分区表指的是在创建表时指定的partition的分区空间，即指定表内的某几个字段作为分区列。在大多数情况下 ，用户可以将分区类比为文件系统下的目录。 ODPS将分区列的每个值作为一个分区(目录)。用户可以指定多级分区，即将表的多个字段作为表的分区，分区 之间正如多级目录的关系。 在使用数据时如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低 费用。 详细介绍请参见 分区表 中的介绍。 1 开放数据处理服务ODPS/基本介绍 数据类型 ODPS表中的列必须是下列描述的任意一种类型，各种类型的描述及取值范围包括： 类型 描述 取值范围 8字节有符号整型。请不要使用 整型的最小值 (- -9223372036854775807 ~ Bigint 9223372036854775808)，这 9223372036854775807 是系统保留值。 字符串，支持UTF-8编码。其他 String 编码的字符行为未定义。 单个String列最长允许8MB。 Boolean 布尔型。 True/False Double 8字节双精度浮点数