全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
DataWorks(数据工场)

数据源配置

更新时间:2017-11-08 15:32:55

数据源配置是数据集成的首要任务,在进行数据同步(数据导入或数据导出)任务开发时,项目管理员需配置可连通的数据源来支撑整个数据开发项目。

项目管理员可在当前项目空间下进行新建、编辑和删除数据源的操作。目前支持多种数据源类型,详情请参见 支持的数据源类型

注意:

专有网络 VPC 是构建的一个隔离的网络环境,可以自定义 IP 地址范围、网段、网关等,随着专有网络安全性提高,专有网络运用越来越广,所以数据集成提供了 RDS-MySQL、RDS-SQL Server、RDS-PostgreSQL。在专有网络下不需要购买一台跟 VPC 同网络的 ECS,系统通过反向代理会自动检测从而网络能够互通。对于阿里云其他的数据库 PPAS、OceanBase、Redis、MongoDB、Memcache、TableStore、HBase 未来也会支持。所以非 RDS 的数据源在专有网络下配置数据集成的同步任务需要购买同网络的 ECS,这样可以通过 ECS 连通网络。

新增数据源

注意

因本文不再更新,关于各类数据源的最新详情,请参见 数据源配置

新建 MaxCompute 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击项目列表中对应项目操作栏后的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 ODPS。

  5. 配置 MaxCompute 数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 30 个字符。

    • 数据源描述:对数据源的简单描述,不超过 80 个字。

    • 数据源类型:当前选择的数据源类型 ODPS。

    • ODPS Endpoint:默认只读。从系统配置中自动读取。

    • ODPS 项目名称:对应的 MaxCompute Project 标识。

    • Access ID:与 MaxCompute Project Owner 云账号对应的 AccessID。

    • Access Key:与 MaxCompute Project Owner 云账号对应的 AccessKey,与 AccessID 成对使用。访问密钥 AccessKey(AK) 相当于登录密码。
  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 RDS > MySQL 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 RDS > MySQL。

  5. 选择以 RDS 实例形配置该 MySQL 数据源。

    1

    配置项说明:

    • 数据源名称: 由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符。

    • 数据源描述: 对数据源进行简单描述,不得超过 80 个字符。

    • 数据源类型:当前选择的数据源类型(RDS > MySQL 的 RDS 实例形式)。

    • RDS 实例 ID:该 MySQL 数据源的实例 ID。

    • RDS 实例购买者 ID:该 MySQL 数据源的实例购买者 ID。

      备注:若选择 JDBC 形式来配置数据源,其 JDBC 连接信息的格式为:jdbc:mysql://IP:Port/database。

    • 数据库名:该数据源对应的数据库名。

    • 用户名/密码:数据库对应的用户名和密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 RDS > SQLServer 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 RDS > SQLServer。

  5. 选择以 RDS 实例形式配置该 SQLServer 数据源。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符。

    • 数据源描述:对数据源进行简单描述,不得超过 80 个字符。

    • 数据源类型:当前选择的数据源类型(RDS > SQLServer 的 RDS 实例形式)。

    • RDS 实例 ID:该 SQLServer 数据源的 RDS 实例 ID。

    • RDS 实例购买者 ID:该数据源对应的 RDS 实例购买者 ID。

      备注:若选择 JDBC 形式来配置数据源,其 JDBC 连接信息的格式为:jdbc:mysql://IP:Port/database。

    • 数据库名:该数据源对应的数据库名。

    • 用户名/密码:数据库对应的用户名和密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 RDS > PostgreSQL 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 RDS > PostgreSQL。

  5. 选择以 RDS 实例形式配置该 PostgreSQL 数据源。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符。

    • 数据源描述:对数据源进行简单描述,不得超过 80 个字符。

    • 数据源类型:当前选择的数据源类型(RDS > PostgreSQL 的 RDS 实例形式)。

    • RDS 实例 ID:该 PostgreSQL 数据源的 RDS 实例 ID。

    • RDS 实例购买者 ID:该数据源对应的 RDS 实例购买者 ID。

      备注:若选择 JDBC 形式来配置数据源,其 JDBC 连接信息的格式为:jdbc:mysql://IP:Port/database。

    • 数据库名:该数据源对应的数据库名。

    • 用户名/密码:数据库对应的用户名和密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 Oracle 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 Oracle。

  5. 配置 Oralce 数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符。

    • 数据源描述:对数据源进行简单描述,不得超过 80 个字符 。

    • 数据源类型:当前选择的数据源类型 Oralce。

    • 网络类型:当前选择的网络类型。

    • JDBCUrl:JDBC 连接信息,格式为:jdbc:oracle:thin:@serverIP:Port:Database。

    • 用户名/密码:对应的用户名和密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 ADS 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 ADS。

  5. 配置 ADS 数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符 。

    • 数据源描述:对数据源进行简单描述,不得超过 80 个字符 。

    • 数据源类型:当前选择的数据源类型 ADS。

    • 连接 Url:ADS 连接信息,格式为:serverIP:Port。

    • Schema:相应的 ADS Schema 信息。

    • AccessID/AceessKey:访问密钥 AccessKey(AK) 相当于登录密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 OSS 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 OSS。

  5. 配置 OSS 数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符。

    • 数据源描述:对数据源进行简单描述,不得超过 80 个字符。

    • 数据源类型:当前选择的数据源类型 OSS。

    • 网络类型

      • 经典网络 : IP 地址由阿里云统一分配,配置简便,使用方便,适合对操作易用性要求比较高,需要快速使用 ECS 的用户。

      • 专有网络 : 逻辑隔离的私有网络,您可以自定义网络拓扑和 IP 地址,支持通过专线连接,适合对网络管理比较熟悉的用户 。

    • Endpoint:OSS Endpoint 信息,格式为:http://oss.aliyuncs.com, OSS 服务的 Endpoint 和 region 有关,访问不同的 region 时,需要填写不同的域名 。

      注意:

      Endpoint 的正确的填写格式为:http://oss.aliyuncs.com ,但是http://oss.aliyuncs.com 在 OSS 前面加上 Bucket 值以点号的形式连接,例如:http://xxx.oss.aliyuncs.com测试连通性可以通过,但同步会报错

    • Bucket:相应的 OSS Bucket 信息,存储空间,是用于存储对象的容器,可以创建一个或者多个存储空间,然后向每个存储空间中添加一个或多个文件。此处填写的存储空间将在数据同步任务里找到相应的文件,其他的 Bucket 没有添加的则不能搜索其中的文件 。

    • AccessID/AceessKey:访问密钥 AccessKey (AK) 相当于登录密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 OCS 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 OCS。

  5. 配置 OCS 数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过30个字符。

    • 数据源描述:对数据源的简单描述,不超过1024个字符。

    • 数据源类型:当前选择的数据源类型 OCS。

    • 网络类型:当前选择的网络类型。

    • PROXY:相应的 OCS Proxy。

    • Port:相应的 OCS 端口。

    • 用户名/密码:对应的用户名和密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 DRDS 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 DRDS。

  5. 配置 DRDS 数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符。

    • 数据源描述:对数据源进行简单描述,不得超过 80 个字符。

    • 数据源类型:当前选择的数据源类型 DRDS。

    • 网络类型:当前选择的网络类型。

    • JDBCUrl:JDBC 连接信息,格式为:jdbc://mysql://serverIP:Port/database。

    • 用户名/密码:对应的用户名和密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

新建 FTP 数据源

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 单击 新增数据源

  4. 在新建数据源弹出框中,选择数据源类型为 FTP。

  5. 配置 FTP 数据源的各个信息项。

    1

    配置项说明:

    • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符 。

    • 数据源描述:对数据源进行简单描述,不得超过 80 个字符 。

    • 数据源类型:当前选择的数据源类型。

    • 网络类型:当前选择的网络类型 FTP。

    • Portocol:目前仅支持 FTP 和 SFTP 协议。

    • Host:对应 FTP 主机的 IP 地址。

    • Port:若选择的是 FTP 协议,则端口默认为 21,若选择的是 SFTP 协议,则端口默认为 22。

    • 用户名/密码:访问该 FTP 服务的账号密码。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

编辑数据源

项目管理员可以根据自身需求更改已有数据源的配置信息。

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 在搜索框中输入数据源名称模糊匹配查找需要编辑的数据源。

  4. 单击对应数据源操作栏后的 编辑

    1

  5. 配置数据源的各个信息项,详情请参见 新增数据源 章节。

  6. 单击 测试连通性

  7. 测试连通性通过后,单击 确定

删除数据源

项目管理员可进行删除已有数据源配置的操作。

操作步骤

  1. 以开发者身份进入 DataWorks 管理控制台,单击对应项目操作栏中的 进入工作区

  2. 单击顶部菜单栏中的 数据集成,导航至 数据源 页面。

  3. 在搜索框中输入数据源名称模糊匹配查找需要删除的数据源。

  4. 单击对应数据源操作栏后的 删除

    1

  5. 单击删除数据源弹出框中的 确认,即可成功删除数据源。

    1

    注意:

    项目管理员在编辑、删除已有数据源配置时需谨慎操作,以免影响引用该数据源配置的工作流、代码等正常执行,而造成生产故障。

本文导读目录