如何创建ECS Pipeline

如何创建ECS Pipeline

更新时间:2017-06-07 13:26:11

一、简介

ECS Pipeline是数据集成平台对外提供的稳定效、弹性伸缩的离线(批量)数据进出通道。有别于普通PipelineECS Pipeline上的同步作业是运行在用户自己的ECS机器上,数据集成平台对ECS Pipeline数量、带宽不作限制。

二、境要求

1、已有杭州区域的 ECS 机器(点我购买), ECS 的系统是Centos 5 64位

2ECS 需开通 8000 端口(如何开通;

三、建步

第一步:创建ECS Pipeline,获取唯一标识(username)和密码(password)

(1)、输入Pipeline名称和Pipeline描述,如下图所示,点击下一步

(2)、绑定服务器,勾选要绑定的ECS机器,如下图所示,点击确定。若在其它服务中部署过同步服务,可点击直接使用。 即可获得唯一标识(username)和密码(password)

对于已经创建好的ECS Pipeline,点击 Pipeline 管理页面修改机器绑定,查看唯一标识(username)和密码(password),此时机器同步服务状态显示已停止如下图所示:如下图所示:

 

第二步:在选中的ECS机器上部署同步服务,部署步骤参考第四节,部署完成,点击 Pipeline 管理页面修改机器绑定可查看机器同步服务状态,若启动正常,则显示正常如下图所示:

即可进入ECS Pipeline 启动Job,否则显示已停止

四、部署同步服务

分别登录选中的ECS机器,下载同步服务安装包

$ rm -f install.sh;wget https://alisaproxy.shuju.aliyun.com/install.sh; [[ -f install.sh ]] && sh install.sh --username=*** --password=*****

 

成功后打印日志如下图所示:

五、其它

数据集成连接RDS同步数据需要使数据库标准协议连接数据库。RDS默认允许所有IP连接,但如果用户在RDS配置指定了IP白名单,用户需要添加数据集成执行节点IP白名单。用户没有指定RDS白名单情况下,不需要给CDP提供白名单。如何添加RDS IP白名单