- 1、本文档共28页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
大数据计算服务MaxCompute
基本介绍
大数据计算服务MaxCompute/
大数据计算服务MaxCompute/基本介绍
PAGE10
PAGE10
基本介绍
基本概念
项目空间(Project)是MaxCompute的基本组织单元,它类似于传统数据库的Database或Schema的概念
,是进行多用户隔离和访问控制的主要边界。一个用户可以同时拥有多个项目空间的权限。通过安全授权,可以在一个项目空间中访问另一个项目空间中的对象,例如:表(Table),资源(Resource),函数(Function),实例(Instance)
usemy_project--进入一个名为my_project的项目空间
usemy_project--进入一个名为my_project的项目空间
运行此命令后,用户会进入一个名为my_project的项目空间,从而可以操作该项目空间下的对象,例如:表(Table),资源(Resource),函数(Function),实例(Instance)等,而不需要关心操作对象所在的项目空间。UseProject是ODPS客户端提供的命令。在详细介绍这部分内容之前,文档会对这些命令做简短的介绍说明
,具体说明请参考ODPS常用命令。
表是MaxCompute的数据存储单元。它在逻辑上也是由行和列组成的二维结构,每行代表一条记录,每列表示相同数据类型的一个字段,一条记录可以包含一个或多个列,各个列的名称和类型构成这张表的Schema。
在MaxCompute中,所有的数据都被存储在表中。表中的列可以是MaxCompute支持的任意种数据类型
(Bigint,Double,String,Boolean,Datetime)。MaxCompute中的各种不同类型计算任务的操作对象(输入、输出)都是表。用户可以创建表,删除表以及向表中导入数据。
分区表指的是在创建表时指定分区空间,即指定表内的某几个字段作为分区列。在大多数情况下,用户可以将分区类比为文件系统下的目录。MaxCompute将分区列的每个值作为一个分区(目录)。用户可以指定多级分区
,即将表的多个字段作为表的分区,分区之间正如多级目录的关系。在使用数据时如果指定了需要访问的分区名称,则只会读取相应的分区,避免全表扫描,提高处理效率,降低费用。
createtablesrc(keystring,
createtablesrc(keystring,valuebigint)partitionedby(ptstring);--目前,MaxCompute仅承诺String类型分区select*fromsrcwherept--正确使用方式。MaxCompute在生成查询计划时只会区的数据纳入输入中
select*fromsrcwherept=--错误的使用方式。在这样的使用方式下,MaxCompute并不能保障分区过滤机制
的有效性。
的有效性。pt是String类型,当String类型与Bigint比较时,MaxCompute会将二者转换为Double类型,此时有可能会有精度损失。
备注:
-详细介绍请参见分区表中的介绍。
MaxCompute表中的列必须是下列描述的任意一种类型,各种类型的描述及取值范围包括:
类型
描述
取值范围
Bigint
8字节有符号整型。请不要使用整型的最小值(-9223372036854775808),这
是系统保留值。
-9223372036854775807~
9223372036854775807
String
字符串,支持UTF-8编码。其他编码的字符行为未定义。
单个String列最长允许8MB。
Boolean
布尔型。
True/False
Double
8字节双精度浮点数。
-1.010308~1.010308
Datetime
日期类型。使用东八区时间作为系统标准时间。
0001-01-0100:00:00~9999-
12-3123:59:59
备注:
-各种数据类型均可以为NULL。
资源(Resource)是MaxCompute的特有概念。用户如果想使用MaxCompute的自定义函数(UDF)或
MapReduce功能需要依赖资源来完成,例如:
SQLUDF:用户在编写UDF后,需要将编译好的jar包以资源的形式上传到ODPS。运行这个UDF时
,MaxCompute会自动下载这个jar包,获取用户代码,运行U
文档评论(0)