Shell节点

使用限制

• Shell节点支持标准Shell语法，不支持交互性语法。

• Shell节点仅支持使用新增和使用独享调度资源组执行。

• 独享调度资源组上运行Shell节点时，如果您需要访问的目标端有白名单限制，请添加独享调度资源组对应IP至目标端应用。

• 请勿在Shell里启动大量子进程，由于目前Shell节点没有资源限制，该操作可能会影响运行在该调度资源组上的其它任务运行。

创建通用Shell节点

1. 进入数据开发页面。

   1. 登录DataWorks控制台。

   2. 在左侧导航栏，单击工作空间列表。

   3. 选择工作空间所在地域后，单击相应工作空间后的快速进入 > 数据开发。

2. 鼠标悬停至图标，单击建节点 > 通用 > Shell。

   您也可以打开相应的业务流程，右键单击通用，选择新建节点 > Shell。

Shell节点使用资源

在DataWorks节点使用资源时，需要先将资源上传至DataWorks，并通过节点引用资源的方式，将资源加载入节点运行环境后，才可以在节点中使用资源。具体操作如下。

上传资源

DataWorks支持通过新建资源或上传已有资源两种方式，生成DataWorks中需使用的资源，使用哪种方式请以各类型资源的实际创建界面为准。

1. 同上述创建Shell节点步骤中，进入数据开发，您可在具体业务流程，根据业务需要创建目标类型资源。

   说明

   若未新建业务流程，请参考创建业务流程新建。

2. 提交并发布资源。

   单击工具栏中的图标，提交资源至调度开发服务器端。

   说明

   若生产任务需使用该资源，则还需将该资源发布至生产环境。详情请参见发布任务。

节点中引用资源

通过引用资源的方式在节点内使用资源时，节点成功引用资源后在节点代码最上方会显示@resource_reference{"资源名称"}注释代码。引用步骤如下：

1. 打开新建的节点。

2. 在数据开发左侧目录树下找到上述上传资源步骤中上传的资源。

3. 右键该资源，选择引用资源，将资源引用至当前节点中。

Shell节点使用调度参数

通用Shell节点中的变量不允许自定义命名，只能以$1、$2、$3...命名（参数序号由小到大，依次递增），当参数的数量大于10时，请使用${10}的方式声明变量。配置及使用调度参数，详情请参见配置并使用调度参数，更多调度参数的赋值方式，请参见调度参数概述。

如上图，在参数赋值区域为参数赋值，再进入代码调用区域定义内置参数$1，自定义参数$2、$3。参数赋值示例如下：

• 内置参数$1赋值取业务时间：$bizdate。

• 自定义参数$2赋值取业务时间：${yyyymmdd}。

• 自定义参数$3赋值取业务时间： $[yyyymmdd]。

如何判断Shell自定义脚本任务是否执行成功

脚本运行成功或者失败是根据如下进程退出码来进行判断的：

• 退出码0：表示成功。

• 退出码-1：表示进程被终止。

• 退出码2：需要平台自动重跑一次任务。

• 其它退出码：表示失败。

#！/bin/bash
curl http://xxxxx/asdasd
echo "nihao"

这个任务在平台上最终成功运行，因为该脚本是正常退出的。

#！/bin/bash
curl http://xxxxx/asdasd
if [[ $? == 0 ]];then  
    echo "curl success"
else  
    echo "failed"  
    exit 1
fi
echo "nihao"

这样最终这个脚本会运行失败。

通过Shell脚本里面访问OSSUtils

[Credentials]
        language = CH
        endpoint = oss.aliyuncs.com
        accessKeyID = your_accesskey_id
        accessKeySecret = your_accesskey_secret
        stsToken = your_sts_token
        outputDir = your_output_dir
        ramRoleArn = your_ram_role_arn

#！/bin/bash
/home/admin/usertools/tools/ossutil64 --config-file  /home/admin/usertools/tools/myconfig  cp oss://bucket/object object
if [[ $? == 0 ]];then
    echo "access oss success"
else
    echo "failed"
    exit 1
fi
echo "finished"

后续操作

若Shell节点需要周期性调度，您需要定义节点的调度属性，并通过任务发布流程将任务发布至生产环境。配置节点调度属性，详情请参见配置节点调度属性，发布任务至生产环境，详情请参见发布任务。