- 1、本文档共25页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
odps_basic要点
开放数据处理服务ODPS
基本介绍
开放数据处理服务ODPS/基本介绍
基本介绍
基本概念
项目空间
项目空间(Project)是 ODPS 的基本组织单元,它类似于传统数据库的Database 或 Scheme 的概念,是进
行多用户隔离和访问控制的主要边界。一个用户可以同时拥有多个项目空间的权限。通过安全授权,可以在一
个项目空间中访问另一个项目空间中的对象, 例如:表(Table) ,资源(Resource) , 函数(Function) ,实例
(Instance)
用户可以通过 Use Project 命令进入一个项目空间,例如:
use my_project -- 进入一个名为my_project的项目空间
运行此命令后,用户会进入一个名为my_project的项目空间,从而可以操作该项目空间下的对象,例如:表
(Table) , 资源(Resource) ,函数(Function) , 实例(Instance) 等,而不需要关心操作对象所在的项目空间。
Use Project 是ODPS客户端提供的命令。 在详细介绍这部分内容之前,文档会对这些命令做简短的介绍说明
,具体说明请参考 ODPS常用命令 。
表
表是 ODPS 的数据存储单元。它在逻辑上也是由行和列组成的二维结构,每行代表一条记录,每列表示相同数
据类型的一个字段,一条记录可以包含一个或多个列,各个列的名称和类型构成这张表的 schema。
在ODPS中,所有的数据都被存储在表中。表中的列可以是ODPS支持的任意种数据类型
(Bigint,Double,String,Boolean,Datetime)。ODPS中的各种不同类型计算任务的操作对象(输入、输出
)都是表。用户可以创建表,删除表以及向表中导入数据。
分区
分区表指的是在创建表时指定的partition的分区空间,即指定表内的某几个字段作为分区列。在大多数情况下
,用户可以将分区类比为文件系统下的目录。
ODPS将分区列的每个值作为一个分区(目录)。用户可以指定多级分区,即将表的多个字段作为表的分区,分区
之间正如多级目录的关系。
在使用数据时如果指定了需要访问的分区名称,则只会读取相应的分区,避免全表扫描,提高处理效率,降低
费用。
详细介绍请参见 分区表 中的介绍。
1
开放数据处理服务ODPS/基本介绍
数据类型
ODPS表中的列必须是下列描述的任意一种类型,各种类型的描述及取值范围包括:
类型 描述 取值范围
8字节有符号整型。请不要使用
整型的最小值 (- -9223372036854775807 ~
Bigint
9223372036854775808),这 9223372036854775807
是系统保留值。
字符串,支持UTF-8编码。其他
String 编码的字符行为未定义。 单个String列最长允许8MB。
Boolean 布尔型。 True/False
Double 8字节双精度浮点数
文档评论(0)