新建SHELL任务
按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数。参数 描述 任务名称 填写离线计算任务的名称。最长允许256个字符，不支持特殊字符|\/:?调度类型 选择任务的调度类型。调度类型 包括...
新建SHELL任务
按照下图操作指引，进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框，配置参数。参数 描述 任务名称 填写离线计算任务的名称。最长允许256个字符，不支持特殊字符|\/:?调度类型 选择任务的调度类型。调度类型 包括...
Dataphin使用Shell任务运行DataX同步任务时报错datax....
问题描述 Dataphin使用Shell任务运行DataX同步任务时报错datax.py的路径找不到是什么原因？解决方案 路径不对，修改datax.py的路径从$DATA_HOME修改为$DATAX_HOME。适用于 Dataphin
Dataphin上传资源的压缩包，每次在Shell任务中解压...
概述 本文主要介绍上传资源的压缩包，每次在Shell任务中解压使用，任务结束后这些文件是否会被删除。详细信息 Dataphin上传资源的压缩包，每次在Shell中解压使用，任务结束后这些文件会删除吗？解释如下：Shell任务是独占容器，任务完成后...
Dataphin中使用Shell任务调用DataX脚本，将MaxCompute...
问题描述 Dataphin中使用Shell任务调用Datax脚本，将MaxCompute数据同步至OSS，补数据运行报错“Shell command exit with code:247”。完整的报错日志如下展示：2022-07-08 13:45:10.962[0-0-0-writer]INFO OssWriter$Task-upload part[191...
Dataphin建Shell任务执行报错“Invalid partition ...
问题描述 Dataphin建Shell任务执行报错“Invalid partition value:'${bizdate}'”。问题原因 通过Shell任务引用JSON资源包，JSON资源包中的${bizdate}无法被识别。解决方案 资源包中的partition应指定具体分区信息，或参考以下代码，将JSON...
Dataphin执行Shell任务，报错“java.io.IOException:...
问题描述 用户在使用Shell脚本得过程中，报错“java.io.IOException:javax.security.sasl.SaslException:GSS initiate failed[Caused by GSSException:No valid credentials provided(Mechanism level:Failed to find any Kerberos tgt)]”...
脚本任务
本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一：选择脚本语言 在 任务管理 页面创建任务，具体操作，请参见 任务管理。任务类型 选择 脚本任务，然后选择 脚本语言。当前支持的脚本语言类型：...
脚本任务
本文介绍如何在创建任务时直接编写Shell、Python和Go脚本以便创建脚本任务。接入方式 脚本任务支持两种接入方式：依赖jar包嵌在应用进程中。Agent接入（非Java SDK方式）。创建方式 脚本任务在创建调度任务时编写脚本即可。更多信息，请...
脚本任务
本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一：选择脚本语言 在 任务管理 页面创建任务，具体操作，请参见 任务管理。任务类型 选择 脚本任务，然后选择 脚本语言。当前支持的脚本语言类型：...
SHELL
SHELL任务类型，用于创建SHELL类型的任务并执行自定义的Shell脚本。本文为您介绍创建SHELL类型任务时涉及的参数，并提供了SHELL任务的示例。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常...
Dataphin 同步任务报错“java.lang.OutOfMemoryError:...
问题描述 用户使用同步任务，任务运行过程报错“java.lang.OutOfMemoryError:Java heap space”。问题原因 1....3.调整为Shell脚本任务，然后修改内存大小。4.修改为管道任务，管道任务增大内存，JVM内存最大为8G。适用于 Dataphin
Dataphin中Shell脚本报“Shell command exit with ...
问题描述 Shell任务报 Shell command exit with code:137 错误。问题原因 内存不足。解决方案 自定义设置任务运行所分配的内存：@required_resource{required_memory=2Gb;required_cpus=1.0}（可根据需求修改required_memory的值）适用于 ...
Dataphin在Shell脚本中引用全局变量时显示的为什么是...
问题描述 Dataphin在Shell脚本中引用全局变量时，显示的为什么是本地变量？问题原因 Shell任务中使用全局变量时，引用的是全局变量的编码，而不是变量名称。解决方案 在Shell中使用全局变量的编码即可。适用于 Dataphin 基于独立部署3.4.1...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
问题描述 Dataphin中Shell运行Jar文件报错“bash:java:command not found”。问题原因 1.代码打成Jar包的时候，需要Jar包名称和main...另外，需要注意的是：Dataphin环境中已经安装好了JDK，不需要每个Shell任务中再去安装。适用于 Dataphin
Quick BI中上传文件任务执行失败且返回“[45]AE...
问题描述 在Quick BI中上传文件报错：任务执行失败.:[45]AE0570000020:this sheet has merged cell!问题原因 因为存在合并单元格，检查一下表格中的内容是否有合并单元格的数据。解决方案 将合并单元格的数据修改正常，再上传到Quick BI。...
Dataphin中周期任务在运行时为何会出现等待资源问题
实例运行时，Dataphin需要每个实例分配的slot，参考下图中任务默认资源分配方式与mesos集群配置，比如一个Shell任务需要 0.4cpu+1280M mem，mesos资源中有57 C，254G，按照1个 slot 0.4 cpu+1280M 计算，mesos资源可以分配 142个slot，也...
Dataphin执行Spark_jar_on_hive任务变量拼接有空格
问题描述 新建Spark_jar_on_hive任务，执行结果中任务变量拼接由空格。问题原因 这个是sparkJarOnHiveOperator，解析逻辑是split后拼接成spark-submit命令，但是这个用户是在写...解决方案 新建Shell任务进行拼接就可以了。适用于 Dataphin
升级任务的链路规格
若现有的迁移或同步任务的链路规格不能适应业务需求时，您可以考虑升级链路规格以提升传输数据的性能，确保任务的顺利执行并更好地支持不断增长的业务需求。前提条件 任务须处于 运行中、已暂停 或 运行失败 状态。任务需为数据迁移任务和...
手动任务快速入门
本文以SHELL任务类型为例，带您快速体验EMR Workflow中创建、运行以及关联手动任务等操作。前提条件 已完成系统角色授权，详情请参见 EMR Workflow角色授权。已在EMR on ECS页面创建集群或集群模板，详情请参见 创建集群 或 创建集群模板。...
K8s任务
创建K8s任务 Shell脚本 如果想通过Pod运行Shell脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Shell-Script，镜像默认是busybox（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动...
K8s任务
创建K8s任务 Shell脚本 如果想通过Pod运行Shell脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Shell-Script，镜像默认是busybox（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动...
使用Python读文件
本文为您介绍基于Dataphin如何通过构建Shell任务调用Python读取第三方文件。前提条件 添加访问地址mirrors.aliyun.com和端口*至项目空间的沙箱白名单，详情请参见 设置白名单。已准备Python支持读取的文件，例如TXT、CSV、XLS、XLSX或PDF等...
使用Python读文件
本文为您介绍基于Dataphin如何通过构建Shell任务调用Python读取第三方文件。前提条件 添加访问地址mirrors.aliyun.com和端口*至项目空间的沙箱白名单，详情请参见 通过客户端、命令行连接RDS MySQL实例。已准备Python支持读取的文件，例如...
小文件优化及作业诊断常见问题
创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心无法查看失败的原因，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心无法查看失败的原因，如何解决？DataWorks-运维中心-任务管理中查看某个任务属性...
调度任务
当导入调度任务的所有触发地址URL对应的Shell任务均已触发时，将触发导入调度任务。DataWorks DataWorks支持Shell节点、PyODPS 3节点两种方式触发导入调度任务。Shell节点 在DataWorks通过Shell节点触发导入调度任务，步骤如下：由于Shell...
K8s任务
创建K8s任务 Shell脚本 如果想通过Pod运行Shell脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Shell-Script，镜像默认是busybox（也可以替换为自己的镜像）。单击 运行一次，在Kubernetes集群中可以看到Pod启动...
Shell节点
一个Shell任务，如果第一条命令是无效命令，那么最终结果肯定是异常的，这时后面一条输入一条能有效运行的命令，结果会是成功的，具体示例如下：#！bin/bash curl http://xxxxx/asdasd echo "nihao" 这个任务在平台上最终成功运行，因为该...
跨节点输出参数赋值
任务类型 赋值语句 右键菜单快捷方式 Shell任务 在代码中通过以下命令对跨节点参数赋值：setv"{参数名称}"{参数值} 例如：setv"output_variable"123 重要 setv"{variable_name}"{value}在代码中对跨节点参数{variable_name}赋值，值为{...
跨节点输出参数赋值
任务类型 赋值语句 右键菜单快捷方式 Shell任务 在代码中通过以下命令对跨节点参数赋值：setv"{参数名称}"{参数值} 例如：setv"output_variable"123 重要 setv"{variable_name}"{value}在代码中对跨节点参数{variable_name}赋值，值为{...
创建EMR Shell节点
开发Shell任务 双击已创建的节点，进入任务开发页面，进行以下任务开发操作。方案一：直接引用OSS资源 当前节点可直接通过 OSS REF 的方式直接引用OSS资源，在运行EMR节点时，DataWorks会自动加载代码中的OSS资源至本地使用。该方式常用于...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据...新建代码任务，详情请参见 新建SHELL任务。配置代码任务中的调度参数，详情请参见 配置任务基本信息。
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据...新建代码任务，详情请参见 新建SHELL任务。配置代码任务中的调度参数，详情请参见 配置任务基本信息。
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求...Shell和Go分片任务 Shell和Go版本的分片任务和Python类似，创建步骤，请参见 Python分片任务。
Dataphin中任务运行很长时间后报“Receive kill ...
问题描述 Dataphin中Shell任务调用自定义的udf函数，任务运行很长时间之后报错“Receive kill signal”。[Following shell scripts will be executed]java-jar/mnt/mesos/sandbox/resources/0000001074370/resource.flag_bit.jar 85B9134E5...
管理手动任务
本文以 SHELL 任务类型为例，其他任务类型详情请参见 任务类型。参数 说明 任务名称 任务的名称。任务类型 选择待创建的任务类型。描述 当前节点的功能描述。提交到Yarn执行 警告 该模式下，作业会被提交到EMR集群的YARN中执行，会直接影响...
One Time
丰富的任务类型：SchedulerX一次性任务适用于所有任务类型，例如Java、HTTP、Shell任务。也适用所有分布式模型，例如单机、广播、分片、MapReduce等。可视化运维：SchedulerX的一次性任务和其他任务一样，具有可视化的界面，方便您观测和...
UpdateJob-更新任务配置信息
https://oapi.dingtalk.com/robot/send?access_token=*XAttrs string 否 如果是k8s任务类型，需要配置该参数 Job任务：{"resource":"job"} Shell任务：{"image":"busybox","resource":"shell"} {"resource":"shell","fileFormat":"unix",...
工作流快速入门
本文以 SHELL 任务类型为例。任务类型的详细信息，请参见 任务类型。在弹出的对话框中，配置相关参数，单击 确定。设置示例如下表所示，其他参数保持默认值即可。更多参数的说明，请参见 SHELL。如需关联手动任务，请打开 关联手动任务 ...
快速使用EMR Workflow
本文以 SHELL 任务类型为例。任务类型的详细信息，请参见 任务类型。在弹出的对话框中，配置相关参数，单击 确定。设置示例如下表所示，其他参数保持默认值即可。更多参数的说明，请参见 SHELL。参数 说明 关联手动任务 默认关闭，如果您已...
- 产品推荐
- 这些文档可能帮助您