本文介绍如何通过向导将RDS或者ECS自建数据库数据同步到OSS中,即创建OSS数据仓库(创建Schema)。

操作步骤

  1. 登录Data Lake Analytics管理控制台
  2. 在页面左上角,选择DLA所在地域。
  3. 在左侧导航栏单击解决方案
  4. 解决方案页面,单击一键建仓中的进入向导
  5. 根据系统提示进行授权,授权完成后单击下一步

    DLA访问OSS、RDS时,需要您将OSS、RDS的只读权限授予DLA。授权操作只需一次,后续使用一键建仓时无需再次授权。

  6. 根据页面提示,进行参数配置。
    说明 您可以根据实际业务数据的存储方式,选择将RDS数据或者ECS自建数据库数据同步到OSS。
    类别 参数 说明
    云RDS 类型 数据源的类型为RDS。

    通过单击实例前的圆圈,将RDS实例添加到数据来源中。

    RDS名称 RDS实例的备注名称。
    实例ID RDS实例的ID,系统将自动拉取与DLA同地域的RDS实例。

    支持模糊搜索RDS实例。

    自建数据库 ECS ID ECS自建数据库中ECS实例的ID。

    说明:对于ECS自建数据库,您需要手动将反向访问地址段100.104.0.0/16添加到ECS白名单中。

    VPC ID ECS实例中的VPC ID。
    Engine ECS自建数据库的类型。
    数据来源 服务器 设置一键建仓中RDS或者ECS自建数据库数据源。
    端口 RDS实例或者ECS自建数据库的连接端口。
    用户名 RDS实例或者ECS自建数据库的数据库账号名。
    密码 用户名对应的密码。
    Schema名称 RDS实例或者ECS自建数据库中的数据库名称。

    配置好数据源后,单击测试连接,进行连通性测试。

    建仓配置 Schema名称 设置Schema的名称,即RDS数据库或者ECS自建数据库在DLA中的映射数据库名称。
    数据位置 建仓时,RDS数据或者ECS自建数据库数据在OSS中的详细存储地址。

    系统将自动拉取与DLA同地域的OSS Bucket。单击选择位置,根据业务需要,选择Bucket和Object。

    使用一键建仓功能时,DLA需要有删除OSS数据的权限,以便进行从OSS数据到RDS数据的ETL(Extract Transform Load)操作,请参见如何授予DLA删除OSS文件权限

    同步时间 设置将RDS数据或者ECS自建数据库数据同步到OSS的时间。

    系统默认的数据同步时间是00:30,您可以根据业务规律,将数据同步时间设置在业务低峰期,以免同步过程中可能对业务造成的影响。

    高级选项 自定义设置项,例如过滤字段等,请参见高级选项功能
  7. 完成上述参数配置后,单击创建,创建OSS数据库仓库。
    说明 数仓创建成功后,DLA自动在您设定的同步时间将RDS数据或者ECS自建数据库数据同步到OSS中,同时在OSS中创建与RDS相同的表结构,在DLA中创建对应的OSS表。

相关操作

一键创建OSS数据仓库时,您已经设置了数据同步时间,DLA将只在您设定的时间进行数据同步。如果您想立即同步数据,DLA支持您随时手动发起数据同步操作,请参见立即同步数据