全部产品
大数据开发套件

新增调度资源

更新时间:2017-08-15 10:59:24   分享:   

项目管理员可以在 大数据开发套件-调度资源列表 页面新建、修改调度资源。当默认调度资源的响应性能无法满足您的业务需要时,可以自主购买 ECS 配置成为调度资源,以提升调度任务的执行效率。

操作步骤

购买 ECS 云服务器

购买 ECS 云服务器的具体操作请参见 购买 ECS 云服务器

注意:

  • 建议使用 centos6、centos7 或者 aliyunos。
  • 如果您添加的 ECS 需要执行 MaxCompute 任务或者同步任务,需要检查当前 ECS 的 python 版本是否是 python2.6.5 以上的版本(centos5 的版本为 2.4 ,其余 os 自带了 2.6 以上版本)。
  • 请确保 ECS 有公网 IP。
  • 建议 ECS 的配置为 8 核 16 G。
  • 您自定义添加的 ECS 只能支持执行 OPEN_MR、SHELL、同步任务,不支持其它任务类型。

查看 ECS 主机名和 内网IP 地址

购买的 ECS 主机名和 IP,如下图所示 :

1

开通 8000 端口,以便读取日志

  1. 添加安全组规则:

    导航至安全组,单击 配置规则,进入配置规则页面 ,如下图所示:

    1

  2. 添加 内网入方向 规则,如下图所示:

  3. 配置 IP:10.116.134.123,访问 8000 端口,如下图所示:

    1

    注意:

    VPC 网络下可不用设置 。

新增调度资源

  1. 项目管理员进入 大数据开发套件 > 调度资源列表 页面,单击 新增调度资源,填写新增的调度资源名称。如下图所示:

  2. 添加后,单击弹出框内新建调度资源操作栏中的 服务器管理,进入服务器添加页面,将购买的 ECS 云服务器添加到资源组。如下图所示:

  3. 单击 增加服务器,并在添加服务器弹出框中选择网络类型、输入服务器名称(服务器名称不支持自定义)和 机器 IP,然后单击 添加

    1

    注意:

    • 填写专有网络下的 ECS 作为服务器时,需要填写 ECS 的 UUID 作为服务器名称。获取方式:登录到 ECS 机器执行命令:dmidecode | grep UUID。
    • 如执行 dmidecode | grep UUID,返回结果是 UUID: 713F4718-8446-4433-A8EC-6B5B62D75A24,则对应的 UUID 为 713F4718-8446-4433-A8EC-6B5B62D75A24 。

服务器初始化

经过上述步骤后,已经将新购买的 ECS 信息注册到了大数据开发套件中,但是目前为止还不能服务。如果是新添加机器,请按照下图中的步骤进行操作:

1

如果执行 install.sh 过程中出错或需要重新执行,请在 install.sh 的同一个目录下执行:rm –rf install.sh 删除已经生成的文件,然后执行:install.sh

本文导读目录
本文导读目录
以上内容是否对您有帮助?