全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
DataWorks(数据工场)

数据源配置

更新时间:2018-05-10 13:56:09

数据源配置是数据集成的首要任务,在进行数据同步(数据导入或数据导出)任务开发时,项目管理员需配置可连通的数据源来支撑整个数据开发项目。

项目管理员可在当前项目空间下进行新建、编辑和删除数据源的操作。目前支持多种数据源类型,详情请参见支持的数据源类型

注意:

专有网络VPC是构建的一个隔离的网络环境,可以自定义IP地址范围、网段、网关等,随着专有网络安全性提高,专有网络运用越来越广,所以数据集成提供了RDS-MySQL、RDS-SQL Server、RDS-PostgreSQL。

在专有网络下不需要购买一台跟VPC同网络的ECS,系统通过反向代理会自动检测从而网络能够互通。对于阿里云其他的数据库PPAS、OceanBase、Redis、MongoDB、Memcache、TableStore、HBase未来也会支持。所以非RDS的数据源在专有网络下配置数据集成的同步任务需要购买同网络的ECS,这样可以通过ECS连通网络。

新增数据源

注意

因本文不再更新,关于各类数据源的最新详情,请参见 数据源配置

新建MaxCompute数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击项目列表中对应项目操作栏后的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为ODPS。

  5. 配置MaxCompute数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

    • 数据源描述:对数据源的简单描述,不超过80个字。

    • 数据源类型:当前选择的数据源类型ODPS。

    • ODPS Endpoint:默认只读。从系统配置中自动读取。

    • ODPS 项目名称:对应的MaxCompute Project标识。

    • Access ID:与MaxCompute Project Owner云账号对应的AccessID。

    • Access Key:与MaxCompute Project Owner云账号对应的AccessKey,与AccessID成对使用。访问密钥(AccessKeyID和AccessKeySecret) 相当于登录密码。
  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建RDS>MySQL数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为RDS>MySQL。

  5. 选择以RDS实例形配置该MySQL数据源。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符。

    • 数据源描述:对数据源进行简单描述,不得超过80个字符。

    • 数据源类型:当前选择的数据源类型(RDS>MySQL的RDS实例形式)。

    • RDS实例ID:该MySQL数据源的实例ID。

    • RDS实例购买者ID:该MySQL数据源的实例购买者ID。

      注意

      若选择JDBC形式来配置数据源,其JDBC连接信息的格式为:jdbc:mysql://IP:Port/database

    • 数据库名:该数据源对应的数据库名。

    • 用户名/密码:数据库对应的用户名和密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建RDS>SQLServer数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为RDS>SQLServer。

  5. 选择以RDS实例形式配置该SQLServer数据源。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符。

    • 数据源描述:对数据源进行简单描述,不得超过80个字符。

    • 数据源类型:当前选择的数据源类型(RDS>SQLServer的RDS实例形式)。

    • RDS实例ID:该SQLServer数据源的RDS实例ID。

    • RDS实例购买者ID:该数据源对应的RDS实例购买者ID。

      注意

      若选择JDBC形式来配置数据源,其JDBC连接信息的格式为:jdbc:mysql://IP:Port/database

    • 数据库名:该数据源对应的数据库名。

    • 用户名/密码:数据库对应的用户名和密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建RDS>PostgreSQL数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为RDS>PostgreSQL。

  5. 选择以RDS实例形式配置该PostgreSQL数据源。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符。

    • 数据源描述:对数据源进行简单描述,不得超过80个字符。

    • 数据源类型:当前选择的数据源类型(RDS>PostgreSQL的RDS实例形式)。

    • RDS实例ID:该PostgreSQL数据源的RDS实例ID。

    • RDS实例购买者ID:该数据源对应的RDS实例购买者ID。

      注意

      若选择JDBC形式来配置数据源,其JDBC连接信息的格式为:jdbc:mysql://IP:Port/database

    • 数据库名:该数据源对应的数据库名。

    • 用户名/密码:数据库对应的用户名和密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建Oracle数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为Oracle。

  5. 配置Oralce数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符。

    • 数据源描述:对数据源进行简单描述,不得超过80个字符 。

    • 数据源类型:当前选择的数据源类型Oralce。

    • 网络类型:当前选择的网络类型。

    • JDBCUrl:JDBC连接信息,格式为:jdbc:oracle:thin:@serverIP:Port:Database

    • 用户名/密码:对应的用户名和密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建ADS数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为ADS。

  5. 配置ADS数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符 。

    • 数据源描述:对数据源进行简单描述,不得超过80个字符 。

    • 数据源类型:当前选择的数据源类型ADS。

    • 连接Url:ADS连接信息,格式为:serverIP:Port。

    • Schema:相应的ADS Schema信息。

    • AccessID/AceessKey访问密钥(AccessKeyID和AccessKeySecret)相当于登录密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建OSS数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为OSS。

  5. 配置OSS数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符。

    • 数据源描述:对数据源进行简单描述,不得超过80个字符。

    • 数据源类型:当前选择的数据源类型OSS。

    • 网络类型

      • 经典网络:IP地址由阿里云统一分配,配置简便,使用方便,适合对操作易用性要求比较高,需要快速使用ECS的用户。

      • 专有网络:逻辑隔离的私有网络,您可以自定义网络拓扑和IP地址,支持通过专线连接,适合对网络管理比较熟悉的用户 。

    • Endpoint:OSS Endpoint信息,格式为http://oss.aliyuncs.com,OSS服务的Endpoint和region有关,访问不同的region时,需要填写不同的域名。

      注意:

      Endpoint的正确的填写格式为http://oss.aliyuncs.com,但是http://oss.aliyuncs.com在OSS前面加上Bucket值以点号的形式连接,例如:http://xxx.oss.aliyuncs.com测试连通性可以通过,但同步会报错

    • Bucket:相应的 OSS Bucket 信息,存储空间,是用于存储对象的容器,可以创建一个或者多个存储空间,然后向每个存储空间中添加一个或多个文件。此处填写的存储空间将在数据同步任务里找到相应的文件,其他的 Bucket 没有添加的则不能搜索其中的文件。

    • AccessID/AceessKey访问密钥(AccessKeyID和AccessKeySecret)相当于登录密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建OCS数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为OCS。

  5. 配置OCS数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

    • 数据源描述:对数据源的简单描述,不超过1024个字符。

    • 数据源类型:当前选择的数据源类型OCS。

    • 网络类型:当前选择的网络类型。

    • PROXY:相应的OCS Proxy。

    • Port:相应的OCS端口。

    • 用户名/密码:对应的用户名和密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建DRDS数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为DRDS。

  5. 配置DRDS数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符。

    • 数据源描述:对数据源进行简单描述,不得超过80个字符。

    • 数据源类型:当前选择的数据源类型DRDS。

    • 网络类型:当前选择的网络类型。

    • JDBCUrl:JDBC 连接信息,格式为:jdbc://mysql://serverIP:Port/database

    • 用户名/密码:对应的用户名和密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

新建 FTP 数据源

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 单击新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为FTP。

  5. 配置FTP数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符 。

    • 数据源描述:对数据源进行简单描述,不得超过80个字符 。

    • 数据源类型:当前选择的数据源类型。

    • 网络类型:当前选择的网络类型FTP。

    • Portocol:目前仅支持FTP和SFTP协议。

    • Host:对应FTP主机的IP地址。

    • Port:若选择的是FTP协议,则端口默认为21,若选择的是SFTP协议,则端口默认为22。

    • 用户名/密码:访问该FTP服务的账号密码。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

编辑数据源

项目管理员可以根据自身需求更改已有数据源的配置信息。

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 在搜索框中输入数据源名称模糊匹配查找需要编辑的数据源。

  4. 单击对应数据源操作栏后的编辑

    1

  5. 配置数据源的各个信息项,详情请参见新增数据源章节。

  6. 单击测试连通性

  7. 测试连通性通过后,单击确定

删除数据源

项目管理员可进行删除已有数据源配置的操作。

操作步骤

  1. 以开发者身份进入DataWorks管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的数据集成,导航至数据源页面。

  3. 在搜索框中输入数据源名称模糊匹配查找需要删除的数据源。

  4. 单击对应数据源操作栏后的删除

    1

  5. 单击删除数据源弹出框中的确认,即可成功删除数据源。

    1

    注意:

    项目管理员在编辑、删除已有数据源配置时需谨慎操作,以免影响引用该数据源配置的工作流、代码等正常执行,而造成生产故障。

本文导读目录