MySQL数据源为您提供读取和写入MySQL双向通道的功能,方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍,配置数据源之前需要准备的网络环境及账号权限,以及在DataWorks中如何新增MySQL数据源。

前提条件

配置数据源之前,请确保已完成以下规划与准备工作。
  • 准备数据源:已购买来源数据源MySQL。
  • 资源规划与准备:已购买独享数据集成资源组,并完成资源配置。详情可参见资源规划与配置
  • 网络环境评估与规划:新增数据源之前,您需根据业务情况,打通数据源、独享数据集成资源组之间的网络,并进行交换机、白名单等网络环境下的访问配置。
    • 如果数据源和独享数据集成资源组均处于同地域的同一VPC网络中,数据源与资源组间的网络天然联通。
    • 如果数据源和独享数据集成资源组均处于不同的网络环境中,您需要通过VPN网关等方式,将数据源与资源组间的网络打通。
    详情请参见配置白名单
  • 准备账号并授权:

    您需要规划一个可访问数据源的账号,用于后续数据集成过程中访问数据源并进行数据提取、写入的同步操作。

    详情请参见创建账号并配置账号权限
  • 开启MySQL Binlog:仅实时同步数据时需要开启MySQL Binlog。实时同步数据详细介绍请参见实时同步概述

    来源数据源为MySQL时,您需要开启Binlog。Binlog是记录所有数据库表结构变更(例如执行CREATE、ALTER操作)以及表数据修改(例如执行INSERT、UPDATE、DELETE等)的日志。方便您可以通过Binlog日志中的内容,查看数据库的变更历史、进行数据库增量备份和恢复以及主从数据库的复制。

    Binlog日志的格式如下:
    • Statement:基于SQL语句的复制。Binlog中会保存每条修改数据的SQL语句。
    • Row:基于行的复制。Binlog中不保存SQL语句上下文的相关信息,仅保存被修改的记录。
    • Mixed:混合模式复制。Statement与Row的结合,一般的语句修改使用Statment格式(例如函数),Statement无法完成复制的操作,则采用Row格式保存Binlog。MySQL会根据执行的每条SQL语句自主识别使用哪种格式。
    详情请参见开启MySQL的Binlog

背景信息

标准模式的工作空间支持数据源隔离功能,您可以分别添加并隔离开发环境和生产环境的数据源,以保护您的数据安全。详情请参见数据源开发和生产环境隔离

如果您使用MySQL 8.0,需要使用独享数据集成资源组,资源组详情请参见新增和使用独享数据集成资源组

请参见RDBMS添加关系型数据库驱动最佳实践,配合RDBMS ReaderRDBMS Writer,完成与MySQL数据库的连接和读写。

新增MySQL数据源

  1. 进入数据源管理页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据集成
    4. 在左侧导航栏,单击数据源 > 数据源列表,进入工作空间管理 > 数据源管理页面。
  2. 数据源管理页面,单击右上角的新增数据源
  3. 新增数据源对话框中,选择数据源类型为MySQL
  4. 新增MySQL数据源对话框中,配置各项参数。
    MySQL数据源包括阿里云实例模式连接串模式两种类型:
    • 以新增MySQL > 阿里云实例模式类型的数据源为例。实例模式
      参数 描述
      数据源类型 当前选择的数据源类型为阿里云实例模式
      数据源名称 数据源名称必须以字母、数字、下划线(_)组合,且不能以数字和下划线(_)开头。
      数据源描述 对数据源进行简单描述,不得超过80个字符。
      适用环境 可以选择开发生产环境。
      说明 仅标准模式工作空间会显示该配置。
      地区 选择相应的地域。
      RDS实例ID 您可以进入RDS控制台,查看RDS实例ID。
      RDS实例主账号ID 实例购买者登录DataWorks控制台,鼠标悬停至右上角的用户头像,单击安全设置,查看账号ID。
      数据库名 该数据源对应的数据库名称。
      用户名 数据库对应的用户名。
      密码 数据库对应的密码。密码中避免使用“@“符号
      说明 您需要先添加RDS白名单才可以连接成功,详情请参见添加白名单
    • 以新增MySQL > 连接串模式类型的数据源为例。JDBC
      参数 描述
      数据源类型 当前选择的数据源类型为连接串模式
      数据源名称 数据源名称必须以字母、数字、下划线(_)组合,且不能以数字和下划线(_)开头。
      数据源描述 对数据源进行简单描述,不得超过80个字符。
      网络连接类型 取值如下:
      • 阿里云VPC
      • 本地IDC
      • 公网
      • 经典网络
      适用环境 可以选择开发生产环境。
      说明 仅标准模式工作空间会显示该配置。
      JDBC URL JDBC连接信息,格式为jdbc:mysql://ServerIP:Port/Database
      用户名 数据库对应的用户名。
      密码 数据库对应的密码。
  5. 数据集成页签下,单击相应资源组后的测试连通性
    数据同步时,一个任务只能使用一种资源组。您需要测试每种资源组的连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组,请选中相应资源组后,单击批量测试连通性。详情请参见选择网络连通方案
  6. 测试连通性通过后,单击完成

后续步骤

现在,您已经学习了如何配置MySQL数据源,您可以继续下一个教程。在该教程中,您将学习如何配置MySQL插件。详情请参见MySQL ReaderMySQL Writer