Shell节点
Shell节点支持标准Shell语法,不支持交互性语法。
使用限制
Shell节点支持标准Shell语法,不支持交互性语法。
Shell节点仅支持使用新增和使用独享调度资源组执行。
独享调度资源组上运行Shell节点时,如果您需要访问的目标端有白名单限制,请添加独享调度资源组对应IP至目标端应用。
请勿在Shell里启动大量子进程,由于目前Shell节点没有资源限制,该操作可能会影响运行在该调度资源组上的其它任务运行。
创建通用Shell节点
进入数据开发页面。
登录DataWorks控制台。
在左侧导航栏,单击工作空间列表。
选择工作空间所在地域后,单击相应工作空间后的 。
鼠标悬停至
图标,单击 。
您也可以打开相应的业务流程,右键单击通用,选择
。
Shell节点使用资源
在DataWorks节点使用资源时,需要先将资源上传至DataWorks,并通过节点引用资源的方式,将资源加载入节点运行环境后,才可以在节点中使用资源。具体操作如下。
上传资源
DataWorks支持通过新建资源或上传已有资源两种方式,生成DataWorks中需使用的资源,使用哪种方式请以各类型资源的实际创建界面为准。
同上述创建Shell节点步骤中,进入数据开发,您可在具体业务流程,根据业务需要创建目标类型资源。
说明若未新建业务流程,请参考创建业务流程新建。
提交并发布资源。
单击工具栏中的
图标,提交资源至调度开发服务器端。
说明若生产任务需使用该资源,则还需将该资源发布至生产环境。详情请参见发布任务。
节点中引用资源
通过引用资源的方式在节点内使用资源时,节点成功引用资源后在节点代码最上方会显示@resource_reference{"资源名称"}
注释代码。引用步骤如下:
打开新建的节点。
在数据开发左侧目录树下找到上述上传资源步骤中上传的资源。
右键该资源,选择引用资源,将资源引用至当前节点中。

资源引用成功后,您可在当前打开的节点注释所在位置,找到上述引用资源时自动添加的资源引用注释。
Shell节点使用调度参数
通用Shell节点中的变量不允许自定义命名,只能以$1、$2、$3...命名(参数序号由小到大,依次递增),当参数的数量大于10时,请使用${10}的方式声明变量。配置及使用调度参数,详情请参见配置并使用调度参数,更多调度参数的赋值方式,请参见调度参数概述。
如上图,在参数赋值区域为参数赋值,再进入代码调用区域定义内置参数$1,自定义参数$2、$3。参数赋值示例如下:
内置参数$1赋值取业务时间:$bizdate。
自定义参数$2赋值取业务时间:${yyyymmdd}。
自定义参数$3赋值取业务时间: $[yyyymmdd]。
通用Shell节点仅支持使用表达式的方式为参数赋值。参数间使用一个空格隔开,并且参数取值与定义参数时的顺序对应。例如,Shell节点定义的第一个参数为$1,则参数赋值区域序号第一的赋值内容$bizdate即为$1的参数取值。
如何判断Shell自定义脚本任务是否执行成功
脚本运行成功或者失败是根据如下进程退出码来进行判断的:
退出码0:表示成功。
退出码-1:表示进程被终止。
退出码2:需要平台自动重跑一次任务。
其它退出码:表示失败。
一个Shell任务,如果第一条命令是无效命令,那么最终结果肯定是异常的,这时后面一条输入一条能有效运行的命令,结果会是成功的,具体示例如下:
#!/bin/bash
curl http://xxxxx/asdasd
echo "nihao"
这个任务在平台上最终成功运行,因为该脚本是正常退出的。
这时,把上述命令做一个修改,最终示例如下:
#!/bin/bash
curl http://xxxxx/asdasd
if [[ $? == 0 ]];then
echo "curl success"
else
echo "failed"
exit 1
fi
echo "nihao"
这样最终这个脚本会运行失败。
通过Shell脚本里面访问OSSUtils
OSSUtils使用路径、全路径,默认有安装。
/home/admin/usertools/tools/ossutil64。
OSSUtils常用命令可参考:常用命令。
配置用户名密码config可自行配置,比如将config基于运维助手将配置文件上传配置到该目录下:/home/admin/usertools/tools/myconfig。
[Credentials]
language = CH
endpoint = oss.aliyuncs.com
accessKeyID = your_accesskey_id
accessKeySecret = your_accesskey_secret
stsToken = your_sts_token
outputDir = your_output_dir
ramRoleArn = your_ram_role_arn
命令格式如下:
#!/bin/bash
/home/admin/usertools/tools/ossutil64 --config-file /home/admin/usertools/tools/myconfig cp oss://bucket/object object
if [[ $? == 0 ]];then
echo "access oss success"
else
echo "failed"
exit 1
fi
echo "finished"
后续操作
若Shell节点需要周期性调度,您需要定义节点的调度属性,并通过任务发布流程将任务发布至生产环境。配置节点调度属性,详情请参见配置节点调度属性,发布任务至生产环境,详情请参见发布任务。