本文为您介绍数据开发的相关问题。
- 如何处理DataWorks任务未按时调度运行,运行日志中显示槽位等待、正在等待在云端的gateway资源等信息的情况?
- 如何对生产表添加字段?
- 如何实现在DataWorks上使用MaxCompute表资源?
- 如何控制只能从内网环境访问DataWorks控制台?
- Python资源是否支持调用另一个Python资源?
- 为什么调用API时,无法找到工作空间?
- 如何配置ODPS Spark节点中的时间参数?
- PyODPS是否支持调用自定义函数来使用第三方包?
- MaxCompute上最多支持显示多少条数据?
如何处理DataWorks任务未按时调度运行,运行日志中显示槽位等待、正在等待在云端的gateway资源等信息的情况?
DataWorks免费为您提供了一定的任务调度能力,但如果达到一定的任务并发量,则需要等待运行中的任务结束后,才可以继续运行等待中的任务。
- 业务场景。
- 期望的高峰期DataWorks任务并发量。
- 任务无法错峰运行的原因。
- 独享调度资源可解决等待Gateway的资源。
- 独享数据集成资源可解决同步任务的资源。
如何对生产表添加字段?
主账号可以在表管理页面,对生产表添加字段后,提交至生产环境。
子账号需要拥有运维或项目管理员角色,才可以在表管理页面,对生产表添加字段后,提交至生产环境。
如何实现在DataWorks上使用MaxCompute表资源?
- 在DataWorks数据开发页面上传一个File类型资源,资源名称和表名称一致,本示例为
userlog3.txt
。说明 请勿选中上传为ODPS资源。 - 完成上传后,通过MaxCompute CLI客户端添加MaxCompute表资源,示例如下。
add table userlog3 -f;
- 完成添加后,在DataWorks上使用MaxCompute表资源时,直接使用上传的资源即可。
如何控制只能从内网环境访问DataWorks控制台?
如果您希望您所在企业的用户只能通过企业内网访问DataWorks控制台,请进入RAM控制台,仅放通您所在企业的内网地址映射出的公网地址。
关于RAM控制台的详细操作,请参见设置RAM用户安全策略。
Python资源是否支持调用另一个Python资源?
两个资源在同一个工作空间的前提下,Python资源支持调用另一个Python资源。
为什么调用API时,无法找到工作空间?
运行createManualDagTest
时,报错为工作空间不存在。
DataWorks V2.0之前的版本,默认把工作空间名称转成小写,且未提供对外用户的API调用接口。
DataWorks V2.0之后的版本,代码(目前线上提供服务的代码)不会对工作空间名称进行大小写转换。
调用SDK时需要工作空间名称为小写,因此如果DataWorks V2.0之前创建的工作空间名称为大写,会无法找到相应工作空间。
工作空间名称为小写或DataWorks V2.0之后创建的工作空间,则不会出现该问题。
如何配置ODPS Spark节点中的时间参数?
您在创建ODPS Spark节点后,需要单击编辑页面右侧的调度配置,配置节点的时间属性,详情请参见配置时间属性。
配置完成后,还需要在编辑页面配置节点的参数,系统会顺序执行。
如何删除生产环境的表?
如果您需要删除生产环境的表,请创建一个ODPS SQL节点,输入并执行DROP语句。创建ODPS SQL节点的详情请参见创建ODPS SQL节点,删除表的语法格式请参见删除表。
PyODPS是否支持调用自定义函数来使用第三方包?
如果您不想通过DataFrame的map方法使用test函数,PyODPS同样支持直接调用自定义函数来导入第三方包,详情请参见PyODPS使用第三方包。
MaxCompute上最多支持显示多少条数据?
目前不支持显示超过10000条数据。如果您的数据较多,请使用Tunnel命令下载数据至本地。详情请参见Tunnel命令参考。
在文档使用中是否遇到以下问题
更多建议
匿名提交