阿里大数据计算服务MaxCompute-基本介绍D.docxVIP

阿里大数据计算服务MaxCompute-基本介绍D.docx

  1. 1、本文档共28页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

大数据计算服务MaxCompute

基本介绍

大数据计算服务MaxCompute/

大数据计算服务MaxCompute/基本介绍

PAGE10

PAGE10

基本介绍

基本概念

项目空间(Project)是MaxCompute的基本组织单元,它类似于传统数据库的Database或Schema的概念

,是进行多用户隔离和访问控制的主要边界。一个用户可以同时拥有多个项目空间的权限。通过安全授权,可以在一个项目空间中访问另一个项目空间中的对象,例如:表(Table),资源(Resource),函数(Function),实例(Instance)

usemy_project--进入一个名为my_project的项目空间

usemy_project--进入一个名为my_project的项目空间

运行此命令后,用户会进入一个名为my_project的项目空间,从而可以操作该项目空间下的对象,例如:表(Table),资源(Resource),函数(Function),实例(Instance)等,而不需要关心操作对象所在的项目空间。UseProject是ODPS客户端提供的命令。在详细介绍这部分内容之前,文档会对这些命令做简短的介绍说明

,具体说明请参考ODPS常用命令。

表是MaxCompute的数据存储单元。它在逻辑上也是由行和列组成的二维结构,每行代表一条记录,每列表示相同数据类型的一个字段,一条记录可以包含一个或多个列,各个列的名称和类型构成这张表的Schema。

在MaxCompute中,所有的数据都被存储在表中。表中的列可以是MaxCompute支持的任意种数据类型

(Bigint,Double,String,Boolean,Datetime)。MaxCompute中的各种不同类型计算任务的操作对象(输入、输出)都是表。用户可以创建表,删除表以及向表中导入数据。

分区表指的是在创建表时指定分区空间,即指定表内的某几个字段作为分区列。在大多数情况下,用户可以将分区类比为文件系统下的目录。MaxCompute将分区列的每个值作为一个分区(目录)。用户可以指定多级分区

,即将表的多个字段作为表的分区,分区之间正如多级目录的关系。在使用数据时如果指定了需要访问的分区名称,则只会读取相应的分区,避免全表扫描,提高处理效率,降低费用。

createtablesrc(keystring,

createtablesrc(keystring,valuebigint)partitionedby(ptstring);--目前,MaxCompute仅承诺String类型分区select*fromsrcwherept--正确使用方式。MaxCompute在生成查询计划时只会区的数据纳入输入中

select*fromsrcwherept=--错误的使用方式。在这样的使用方式下,MaxCompute并不能保障分区过滤机制

的有效性。

的有效性。pt是String类型,当String类型与Bigint比较时,MaxCompute会将二者转换为Double类型,此时有可能会有精度损失。

备注:

-详细介绍请参见分区表中的介绍。

MaxCompute表中的列必须是下列描述的任意一种类型,各种类型的描述及取值范围包括:

类型

描述

取值范围

Bigint

8字节有符号整型。请不要使用整型的最小值(-9223372036854775808),这

是系统保留值。

-9223372036854775807~

9223372036854775807

String

字符串,支持UTF-8编码。其他编码的字符行为未定义。

单个String列最长允许8MB。

Boolean

布尔型。

True/False

Double

8字节双精度浮点数。

-1.010308~1.010308

Datetime

日期类型。使用东八区时间作为系统标准时间。

0001-01-0100:00:00~9999-

12-3123:59:59

备注:

-各种数据类型均可以为NULL。

资源(Resource)是MaxCompute的特有概念。用户如果想使用MaxCompute的自定义函数(UDF)或

MapReduce功能需要依赖资源来完成,例如:

SQLUDF:用户在编写UDF后,需要将编译好的jar包以资源的形式上传到ODPS。运行这个UDF时

,MaxCompute会自动下载这个jar包,获取用户代码,运行U

文档评论(0)

151****0486 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档