全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
DataWorks(数据工场)

新增调度资源

更新时间:2018-01-12 14:26:20

项目管理员在数据集成—>同步资源管理—>资源组页面新建、修改调度资源。当默认调度资源无法与您的复杂的网络环境连通时,数据集成提供在复杂网络环境下的穿墙过壁能力,主要是通过数据集成Agent的部署,打通任意网络环境之间的数据传输同步。完整的实例请产考文档:(仅一端不通)数据源网络不通情况下的数据同步(两端都不通)数据源网络不通情况下的数据同步

注意:目前只有华东2支持添加自定义资源(部署Agent),其他的Region添加自定义资源组的功能还在规划中。

数据集成Agent的部署操作步骤

购买ECS云服务器

购买ECS云服务器的具体操作请参见购买ECS云服务器

注意:

  • 建议使用centos6、centos7或者aliyunos。

  • 如果您添加的ECS需要执行MaxCompute任务或者同步任务,需要检查当前ECS的python版本是否是python2.6或2.7的版本(centos5的版本为2.4,其余os自带2.6以上版本)。

  • 请确保ECS有公网IP。

  • 建议ECS的配置为8核16G。

查看ECS主机名和内网IP地址

购买的ECS主机名和IP,如下图所示:

1

开通8000端口,以便读取日志

注意

如果是VPC网络类型,则不需开通8000端口。

  1. 添加安全组规则:

    导航至安全组,单击配置规则,进入配置规则页面 ,如下图所示:

    1

  2. 添加内网入方向规则,如下图所示:

  3. 配置IP:10.116.134.123,访问8000端口,如下图所示:

    1

新增调度资源

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至资源管理>新增资源组。如下图所示:

  3. 单击下一步,弹出添加服务器界面,将购买的ECS云服务器添加到资源组。如下图所示:


    配置项说明如下:

    • 网络类型:

      • 阿里云经典网络:IP地址由阿里云统一分配,配置简便,使用方便,适合对操作易用性要求比较高、需要快速使用ECS的用户。

      • 专有网络:逻辑隔离的专有网络,您可以自定义网络拓扑和IP地址,支持通过专线连接。适合对网络管理熟悉了解的用户。

    • 服务器名称:

      • 阿里云经典网络:登录ECS,执行hostname命令,取返回值。

      • 专有网络:登录ECS,执行dmidecode | grep UUID,取返回值。

    • 最大并发数:

      • 计算并发数:并发数计算器是根据CPU核数和内存大小计算出来的。

      • 添加服务器:填写的内容跟上面选择的网络类型有关系。若选择的是经典网络,只能添加经典网络;若选择的是专有网络,则会显示专有网络类型的内容。

    注意:

    • 填写专有网络下的ECS作为服务器时,需要填写ECS的UUID作为服务器名称。获取方式:登录到 ECS 机器执行命令:dmidecode | grep UUID

    • 如执行dmidecode | grep UUID,返回结果是UUID: 713F4718-8446-4433-A8EC-6B5B62D75A24,则对应的UUID为713F4718-8446-4433-A8EC-6B5B62D75A24。

  4. 安转Agent并初始化。


    如果是新添加机器,请按照如下步骤操作:

    1. SSH登录ECS服务器,保持在root用户下。

    2. 执行命令:wget https://alisaproxy.shuju.aliyun.com/install.sh --no-check-certificate

    3. 执行命令:sh install.sh --user_name=xxxxxxxxxx19d --password=yyyyyygh1bm --enable_uuid=false

    4. 稍后在添加服务器页面,单击刷新,查看服务状态是否转为可用状态。

    5. 请开通服务器的8000端口。

      注意

      如果执行install.sh过程中出错或需要重新执行,请在install.sh的同一个目录下执行:rm –rf install.sh,删除已经生成的文件,然后执行:install.sh。上面的初始化界面对于每个用户命令都是不一样的,请按照自己显示的命令来运行。

    执行完此处后,服务状态如果一直是停止状态,那么您可能碰到以下问题:

    上图的错误原因是没有绑定host,请参见以下步骤进行修改:

    1. 切换到admin账号。

    2. 执行hostname -i,查看host的绑定情况。

    3. 执行vim/etc/hosts,添加IP地址和主机名。

    4. 刷新界面服务状态,若显示正常则表示新建ECS服务器注册成功。

    注意

    • 如果刷新后还是停止状态,您可以重启alisa命令:切换到admin账号,执行 /home/admin/alisatatasknode/target/alisatatasknode/bin/serverct1 restart

    • 命令中有涉及到您的AK信息,请不要轻易暴露给他人。

本文导读目录