本文汇总了项目管理的相关问题。

血缘信息的上下游表的相关信息,多久会更新?

每天更新一次,更新方式有两种:
  • 实时更新:建表之后立刻能看到。
  • 全量更新:实时更新失败会进行全量更新,每天早上7点之前更新完毕。

表的上下游表是从用户每天执行的任务中提取的相关关系吗?

是的,是通过调度系统运行的任务提取的相关关系。

使用DataWorks提交任务时,需要设置时间参数${bdp.system.bizdate},如果想提取一年前、一个月前、半年前或一周前的时间,应该怎么设置?

目前是无法基于${bdp.system.bizdate}进行自定义设置,详情请参见调度参数

如何删除已经创建的MaxCompute项目?

执行如下步骤:
  1. 登录DataWorks,进入DataWork工作空间列表页面。
  2. 找到需要删除的项目。单击项目后的更多,选择删除项目
  3. 进入删除项目页面,手动输入验证码。
  4. 输入完成后删除成功。
说明 RAM子账号无删除项目权限,如需操作请联系项目管理员。

cmd_file相当于一个脚本程序,是一系列SQL和MapReduce程序,为了复用该脚本程序,里面可以用$变量吗?可以在调用时传入参数吗?

目前不支持传入变量。但是可以在cmd.sh脚本文件中,动态构造MaxCompute的执行语句。

有类似ptkill的方法批量中止超时任务的操作吗?

目前不支持批量中止操作,只能执行kill instanceid 命令逐一中止任务。

MapJoin中的大表和小表是否可以互换位置?

MapJoin中的大表和小表是根据表占用空间Size大小区分的。

系统会将您指定的小表全部加载到执行Join操作的程序的内存中,继而加快Join的执行速度。如果将大表和小表互换位置,系统不会报错,但是性能会变差。

目前MaxCompute不支持访问外网,但分布式处理需要访问外网,该如何实现?是否有云组件支持?

目前MaxCompute只支持访问资源表和资源文件,不支持访问外部的资源,也没有类似的云组件。建议您把对应的请求封装在资源文件和资源表里,或者直接写在MaxCompute表中。

使用MaxCompute客户端连接服务的时候,报错ODPS-0410031,怎么处理?

报错信息如下。
FAILED: ODPS-0410031:Authentication request expired - the expire time interval exceeds the max limitation: 900000, max_interval_date:900000,expire_date:2015-12-23T10:15:31.000Z,now_date:2015-12-23T02:16:00.000Z
  • 问题原因:出现上述报错,是因为安装客户端的机器本地时间与MaxCompute服务器上的时间不一致,时间相差超过15分钟就会导致请求被服务器认为超时而拒绝。
  • 解决办法:可以将机器的本地时间调整后,重新打开客户端。对于国内Region,机器本地时间获取当前时间即可。

MaxCompute如何在客户端上查看一个任务的历史信息?

执行以下步骤进行操作:
  1. 执行show p;命令获取任务的InstanceID。

    如果是SQL任务的话,可以直接看到SQL的内容。

    如果要查看几天前的Instance,可以执行如下命令。
    show p from date1 to date2 number;
    例如,查询2015年5月20日至2015年5月22日之间的任务信息。
    show p from 2015-5-20 to 2015-5-22 2000;
  2. 通过wait命令,获得任务的运行日志。
  3. 在浏览器中输入Logview地址,即可获得任务的详细日志。 详情请参考使用Logview查看Job信息

MaxCompute支持快照吗?ChangeLog的设置方式是什么?

不支持快照,也没有ChangeLog之类的配置功能。

MaxCompute中可以设置表的过期时间,是否有办法设置分区的过期时间?

暂不支持。

MaxCompute会有lock-in问题吗?

MaxCompute2.0在用户接口上兼容开源(目前还在提高兼容性,因为开源系统API也在变动),所以不会有lock-in的问题。在兼容Hive语法、语义以及开发应用各种基于规则的优化器(Rbo)的前提下,引入和开发了基于统计数据指导下更精确的性能优化组件,增加了全新的优化规则。

MaxCompute是否支持RESTful接口?

目前还不支持纯RESTful API,仅支持Python和Java SDK。

运维中心补数据功能怎么使用?

补数据功能就是重跑下这个任务,可以选择日期时间段。详细信息请参见补数据

新建子管理账号,但子账号不能访问MaxCompute的功能,是什么原因?

此问题由权限问题造成,需要主账号为子账号授权,详情请参见用户使用子账号

如何将开通数据保护的MaxCompute表数据导入另一项目空间?

如果您想要将已经开通数据保护的MaxCompute项目中的表数据导入到另一个MaxCompute项目中,需要执行以下操作:
  1. 在源表项目空间执行如下命令。
    add TrustedProject dest_project_name;
  2. 在目标Project(dest_project_name)中执行如下命令。
    create table like select * from src_project_name.table_name;

即创建一张与源表同结构的表,再把数据以SQL的形式插入,即可完成数据的导入。

如何查看某个MaxCompute项目及每张数据表所使用的磁盘空间?

可以使用desc 表名;命令查看MaxCompute存放的表大小。目前MaxCompute暂时不能查看整个Project大小,但是您可以从DataWorks的数据管理里看到统计信息,详细请参见如何查看MaxCompute数据量?

如何调用Package中的表和函数?

Package所在项目空间的Owner授权给当前Project。当前Project安装这个Package,然后通过project_name.table_name访问这个Package中的表;通过project_name.function_name调用这个Package中的函数。

MaxCompute项目中的Owner能否更换为子账号?

项目的Owner不可以更换,创建的Project者即是项目Owner。您可以将Admin的角色赋予子账号。

与Owner相比,Admin角色有哪些限制?

与Owner相比,Admin角色不能进行如下操作:
  • Admin角色不能将Admin权限指派给用户。
  • 不能设定项目空间的安全配置。
  • 不能修改项目空间的鉴权模型。
  • Admin角色所对应的权限不能被修改。

在MaxCompute页面,运行任务类的功能在哪里能看到?

目前没有这样的对应功能了,您可以使用show p;命令查看历史的任务,并使用Kill命令中止对应的任务。请参见MaxCompute如何在客户端上查看一个任务的历史信息?实例操作

使用Use Project命令进入项目空间时为什么会报错Can't bind xml to class?

详细报错信息如下。
FAILED:Can't bind xml to class com.aliyun.odps.Project$ProjectModel.

这种情况通常是代理软件导致,请关闭代理软件再次尝试。

如果不调用com.aliyun.odps.Instance中的waitForSuccess()方法,是否会导致数据有遗漏?

建议您以官网标准写法为准,waitForSuccess()方法用于监控任务执行是否成功,建议添加调用。

在整个解决方案中,是如何使用MaxCompute的?

MaxCompute通常作为解决方案的一部分,与其它系统的交互过程如下:
  1. 上传数据到MaxCompute。
  2. 通过SQL或MapReduce任务进行数据分析和挖掘处理。
  3. 数据分析、挖掘结果存储到MaxCompute中的结果表。
  4. 把MaxCompute结果表导出到RDS数据库(或其它在线存储方案),以提供在线服务。