自定义资源组

如果使用自定义调度资源组出现问题，需要首先确认Agent是否安装监控。操作如下所示：

1. 登录机器，切换至有权限账号下。

2. 执行下述命令。

   wget https://di-agent-image-cn-shanghai.oss-cn-shanghai.aliyuncs.com/install_monitor.sh -O install_monitor.sh

3. 执行下述脚本。

   sh install_monitor.sh

出现添加自定义调度资源服务器失败，服务状态一直显示为停止，可能有以下原因：

• 界面注册的机器名称和实际的机器名称不一致。

  确认方法如下：

  • 经典网络下（仅华东2支持），需要确保填写的主机名称和IP是在ECS上执行命令hostname和hostname -i返回的名称和IP。

    说明

    请注意是否修改过主机名称。如果修改过主机名称，请进入/etc/hosts查看是否绑定对应的host，确认绑定后，使用绑定的hosts到界面注册使用。

  • 专有网络下，请确保填写的是在ECS上执行命令dmidecode | grep UUID返回的值。

    说明

    • 如果没有安装dmidecode，请首先进行安装。

    • 不同版本的dmidecode返回的UUID区分大小写。

    • 机器名称需要区分大小写。

  如果确认是该原因导致的问题，请根据下述方法解决：

  1. 删除原来注册的服务器。

  2. 填写正确的主机名称（UUID）和IP，重新注册服务器。

• 初始化命令使用错误。

  确认方法如下：

  1. 登录ECS执行下述命令。

     cat /home/admin/alisatasknode/target/alisatasknode/conf/config.properties | grep driver

  2. 登录DataWorks控制台。

  3. 在左侧导航栏，单击资源组列表。

  4. 单击自定义资源组页签。

  5. 单击相应资源组后的服务器初始化。

  6. 对照ECS执行的命令结果和服务器初始化窗口显示的username是否一致。

  如果确认是该原因导致的问题，请根据页面正确的初始化语句，重新进行初始化即可解决。

  说明

  • 在界面注册好服务器后，您可以在资源组列表 > 自定义资源组页面进行服务器初始化操作。

    不同资源组的初始化命令不同，且不可互相使用。

  • 请务必完全复制服务器初始化对话框中的命令，并按照顺序执行。

  • 专有网络的机器需要执行经典网络的初始化语句。

• 时间与北京时间相差5分钟以上。

  确认方法如下：

  1. 登录ECS。

  2. 执行命令date，查看返回的时间是否与北京时间相差5分钟以上。

  如果确认是该原因导致的问题，请在非业务影响的情况下，同步ECS时间至北京时间时区。

• 目录权限点有误。

  确认方法如下：

  1. 登录ECS，执行命令ps -ef | grep zoo | grep -v cdp。

  2. 确认返回一个进程的是否是admin账号。

     如果是admin账号，请继续确认/home/admin/alisatasknode的目录及子目录下是否都是admin权限。

• 执行install.sh时便报错。

  确认方法如下：

  1. 执行命令install.sh。

  2. 查看/home/admin/alisatasknode/logs下是否有日志文件生成。如果没有，则说明没有安装成功。

  如果确认是该原因导致的问题，解决方法如下：

  1. 确认当前ECS的OS是否是CentOS5、CentOS6或CentOS7版本。如果不是，请切换为该类版本并重新初始化。

  2. 执行命令/opt/taobao/java/bin/java -V，确认JDK版本是否返回1.8版本。

  3. 执行命令ls -al /opt/taobao，确认该目录权限是否为admin。如果不是，请执行chown admin:admin /opt/taobao -R，并重新执行初始化语句。

服务器使用了一段时间，出现突然终止服务，重启无效果或重启失败的情况，可能有以下原因：

• 不同账户启动过Agent，导致目录权限不一致。

  确认方法如下：

  1. 登录ECS，切换至有权限账号。

  2. 执行命令ps -ef | grep zoo | grep -v cdp。

  如果返回两个进程，则说明是该原因导致，解决方法如下：

  1. 登录ECS，对上述ps出的两个进程执行kill -9。

  2. 执行命令chown admin:admin /home/admin/ -R。

  3. 切换至admin账号。

  4. 执行命令/home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart，重启Agent。

• 句柄数被过多占用。

  确认方法如下：

  • 登录ECS，执行命令grep "temporarily unavailable" /home/admin/alisatasknode/logs/alisatasknode.log。如果有结果返回，则说明有问题。

  • 重启Agent失败，报错为Caused by: java.io.IOException: error=11, Resource temporarily unavailable。

  如果确认是该原因导致的问题，请根据下述方法解决：

  1. 切换至有权限账号下，执行命令ps -ef | grep zoo | grep -v cdp。

  2. 对上述ps出的进程全部执行kill -9命令。

  3. 执行命令chown admin:admin /home/admin/ -R。

  4. 切换至admin账号。

  5. 执行命令/home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart，重启Agent。

• 专有网络的ECS的UUID发生变化。

  1. 登录ECS，执行命令dmidecode | grep UUID，确认返回的UUID是否全部为小写字母（假设原来是大写）。

  2. 将返回的结果和资源组列表 > 自定义资源组页面服务器管理对话框中的结果进行对比。

  如果确认是该原因导致的问题，请在自定义资源组页面删除原来大写UUID的服务器，重新添加小写UUID的服务器。

出现使用自定义调度资源运行的任务，长时间等待资源未能运行的情况，可能有以下原因：

• 服务器终止服务。

  确认方法如下：

  1. 登录DataWorks控制台。

  2. 在左侧导航栏，单击资源组列表。

  3. 单击自定义资源组页签。

  4. 单击相应服务器后的服务器管理，查看当前服务器的状态是否终止。

  如果确认服务器终止服务，请登录ECS，启动Agent。

• 服务器暂停服务。

  • 确认方法如下：

    1. 登录ECS。

    2. 查看/home/admin/alisatasknode/logs/alisatasknode_status.log日志。

       日志会实时显示服务器的状态。如果显示BUSY或HANGUP，说明当前服务器存在大任务进程占用资源的情况。

  • 解决方法如下：

    1. 执行命令ps -ef | grep taskexec，查看执行任务的进程。

    2. 通过日志排查占用资源的任务。

    如果发现任务异常，请进入DataWorks页面终止任务的运行。等待两分钟后，服务器即可自动恢复服务。

• 服务器Agent异常。

  确认方法如下：

  • 执行命令df -h，查看磁盘是否存在100%的使用率。

  • 查看CPU、内存等指标是否过高。

  如果确认是该原因导致的问题，请在机器本身的异常处理完成后，重启Agent。

如果您需要暂停Agent服务，请根据以下两种情况进行选择：

• 如果是在资源组列表 > 自定义资源组页面添加的Agent，您可以单击相应服务器后的服务器管理，在管理服务器对话框中单击暂停即可。

• 如果是在数据集成 > 资源组页面添加的Agent，则不支持暂停Agent服务，请提交工单进行咨询。

如果您需要初始化Agent服务，操作如下：

1. 切换至有权限账号下，执行ps -ef | grep zoo | grep alisa命令。

2. 执行kill -9命令，结束ps获得的进程的运行。

3. 删除/home/admin/alisatasknode目录。

4. 在新的空目录下执行install.sh命令。

   说明

   请确保下载的为相应区域的install.sh文件。

重启ECS后，您可以通过下述操作，使Agent自行恢复服务：

1. 登录机器，切换至有权限账号。

2. 执行命令：

   wget https://di-agent-image-cn-shanghai.oss-cn-shanghai.aliyuncs.com/install_monitor.sh -O install_monitor.sh

3. 执行脚本：sh install_monitor.sh。

解决方法如下：

1. 登录DataWorks控制台。

2. 在左侧导航栏，单击资源组列表。

3. 单击自定义资源组页签。

4. 单击相应服务器后的服务器初始化。

5. 根据服务器初始化对话框中提示进行操作。

   说明

   其中step3命令中的enable_uuid=false，需要修改为enable_uuid=true。

通过DataWorks界面引导，完成自定义资源组的安装后，请登录ECS查看Agent插件的以下信息：

• 默认安装路径：/home/admin/， 默认路径下通常会有以下目录信息：

  • alisatasknode：Agent有关配置和命令所在目录。

  • datax和datax-on-flume：数据同步插件库和配置所在目录。

• Agent有关命令：目前支持对Agent进程进行stop、start和restart等命令操作。

  /home/admin/alisatasknode/target/alisatasknode/bin/serverctl start/stop/restart

• 运行日志：Agent运行日志有以下两个存放路径：

  • /home/admin/alisatasknode/taskinfo/：存放Shell脚本运行的日志信息，和DataWorks节点运行日志页面中查看的结果一致。

  • /home/admin/alisatasknode/logs：alisatasknode.log日志文件中存放的是Agent插件的运行信息，例如接收到的任务运行操作、Agent心跳状态等。

  • /home/admin/datax3/log：存放数据集成任务的详细运行日志，如果任务执行失败，请查看该部分日志查找原因。

您可以通过下述方法监控Agent进程的运行状态，在监控到Agent进程退出后，可以及时进行恢复：

1. 登录ECS机器。

2. 执行命令

   wget https://di-agent-image-cn-shanghai.oss-cn-shanghai.aliyuncs.com/install_monitor.sh -O install_monitor.sh

3. 执行命令sh install_monitor.sh，监控日志默认存放在/home/admin/alisatasknode/monitor/monitor.log中。

自定义资源组在DataWorks调度体系中使用， 当前DataWorks调度体系分为一级调度资源和二级运行资源：

• 一级调度资源：进入运维中心页面，单击左侧导航栏中的周期任务运维 > 周期实例。右键单击相应实例的DAG图，选择查看更多详情，即可在属性面板查看一级调度资源。

• 二级运行资源：进入数据集成 > 自定义资源组页面，即可查看二级任务运行资源。

添加ECS资源组时，报错gateway already exists的解决方法如下：

1. 报错提示对应ECS已经在gateway中注册过，因为一个ECS只能添加到一个自定义资源组下，所以需要您在资源列表和数据集成 > 自定义资源组页面，查看是否存在同名或同UUID的自定义资源组。

2. 如果工作空间中没有发现对应的自定义资源组，则需要收集request ID信息进行咨询。

自定义资源组下任务执行OOM，下图为运行报错日志，提示无法分配内存给作业线程。

当您使用DataWorks数据集成自定义资源组时，如果使用DataX相关组件涉及log4j问题，可采用以下步骤进行修复：

1. 下载log4j-core：

   1. 下载apache log4j，详细地址请参见apache log4j下载地址。

   2. 将apache log4j文件解压（tar zxvf apache-log4j-2.17.1-bin.tar.gz），在目录中找到log4j-core-2.17.1.jar。

2. 修复log4j问题：

   1. 上传jar包至临时目录。

      将下载的新版log4j-core-2.17.1.jar上传至ECS的临时目录。例如，/tmp/。

   2. 进入工具包安装目录。

      在数据集成自定义资源组机器上，使用cd /home/admin/datax3/语句，进入datax3工具包的安装目录/home/admin/datax3/。

   3. 确认待替换jar包。

      使用find . -name "*log4j-core*" -exec ls {} \;语句查询log4j-core的jar包列表。

      待替换的jar包列表如下图所示。

   4. 备份原log4j-core jar包。

      使用find . -name "*log4j-core*" -exec mv {} /tmp \;语句，备份原log4j-core jar包至/tmp 目录。

   5. 替换新log4j-core jar包。

      将新版/tmp/log4j-core-2.17.1.jar文件复制至被移除文件（即待替换的jar包列表）所在目录。示例语句如下。

      cp /tmp/log4j-core-2.17.1.jar  ./plugin/writer/hivewriter/libs/
      cp /tmp/log4j-core-2.17.1.jar  ./plugin/writer/otswriter/libs/
      cp /tmp/log4j-core-2.17.1.jar  ./plugin/reader/otsstreamreader/libs/
      cp /tmp/log4j-core-2.17.1.jar  ./plugin/reader/otsreader/libs/
      cp /tmp/log4j-core-2.17.1.jar  ./plugin/reader/ossreader/libs/
      cp /tmp/log4j-core-2.17.1.jar  ./plugin/reader/hivereader/libs/
      cp /tmp/log4j-core-2.17.1.jar  ./plugin/reader/hdfsreader/libs/

   6. 检查替换结果。

      使用find . -name "*log4j-core*" -exec ls {} \;语句，检查新版log4j-core jar包的替换情况。

      如果您需要回滚旧版jar包，请将备份的jar文件恢复到原有lib目录，并移除新版log4j-core-2.17.1.jar即可。命令语句如下。

      rm -rf ./plugin/reader/otsreader/libs/log4j-core-2.17.1.jar
      rm -rf ./plugin/reader/hivereader/libs/log4j-core-2.17.1.jar
      rm -rf ./plugin/reader/hdfsreader/libs/log4j-core-2.17.1.jar
      rm -rf ./plugin/reader/otsstreamreader/libs/log4j-core-2.17.1.jar
      rm -rf ./plugin/reader/ossreader/libs/log4j-core-2.17.1.jar
      rm -rf ./plugin/writer/otswriter/libs/log4j-core-2.17.1.jar
      rm -rf ./plugin/writer/hivewriter/libs/log4j-core-2.17.1.jar
      cp /tmp/log4j-core-2.0.2.jar ./plugin/reader/otsreader/libs/
      cp /tmp/log4j-core-2.6.2.jar ./plugin/reader/hivereader/libs/
      cp /tmp/log4j-core-2.6.2.jar ./plugin/reader/hdfsreader/libs/
      cp /tmp/log4j-core-2.0.2.jar ./plugin/reader/otsstreamreader/libs/
      cp /tmp/log4j-core-2.6.2.jar ./plugin/reader/ossreader/libs/
      cp /tmp/log4j-core-2.0.2.jar ./plugin/writer/otswriter/libs/
      cp /tmp/log4j-core-2.6.2.jar ./plugin/writer/hivewriter/libs/