全部产品
云市场

一键创建OSS数据仓库

更新时间:2019-09-12 11:37:53

本文介绍如何通过向导将RDS数据或者ECS自建数据库数据同步到OSS,即创建OSS数据仓库(创建Schema)。

操作步骤

  1. 登录Data Lake Analytics管理控制台

  2. 在页面左上角,选择DLA所在地域。

  3. 在左侧导航栏单击Schema管理

  4. Schema管理页面,单击创建Schema

  5. 创建Schema页面的常用页签下,单击一键建仓中的使用向导创建

    使用向导创建

  6. DLA访问OSS和RDS时,需要您将OSS和RDS的只读权限授予DLA。授权完成后单击下一步

    只读授权DLA

  7. 根据页面提示,配置数据源和存储数据的OSS仓库。

    您可以根据实际业务数据的存储方式,选择将RDS数据或者ECS自建数据库数据同步到OSS。本示例中将RDS数据同步到OSS。

    打通数据源

    类别 参数 配置
    云RDS 类型 数据源的类型为RDS。

    通过单击实例前面的圆圈,将RDS实例添加到数据来源中。

    RDS名称 RDS实例的备注名称。
    实例ID RDS实例的ID,系统将自动拉取与DLA同地域的RDS实例。

    支持模糊搜索RDS实例。

    自建数据库 ECS ID ECS自建数据库中ECS实例的ID。
    VPC ID ECS实例中VPC的ID。
    Engine ECS自建数据库的类型。
    数据来源 服务器 设置一键建仓的RDS数据源,从左侧的RDS实例列表中选择数据源。
    端口 RDS实例的连接端口,固定为3306。
    用户名 RDS实例的账号名
    密码 用户名对应的密码。
    Schema名称 RDS实例的数据库名

    配置好数据源后,单击测试连接,进行连通性测试。

    建仓配置 Schema名称 设置Schema的名称,即RDS数据库在DLA中的映射数据库名称。
    数据位置 建仓时,RDS数据存储在OSS中的详细地址。

    系统将自动拉取与DLA同地域的OSS Bucket。单击选择位置,您可以根据业务需要,灵活选取Bucket和Object。

    使用一键建仓功能时,DLA需要有删除OSS数据的权限,以便进行从OSS数据到RDS数据的ETL(Extract Transform Load)操作,关于授权请参见如何授予DLA删除OSS文件权限

    同步时间 设置将RDS数据同步至OSS的时间。

    系统默认的数据同步时间是2:00,您可以根据业务规律,将数据同步时间设置在业务低峰期,以免同步过程中可能对业务造成的影响。

    高级选项 自定义设置项,例如过滤字段等,详情请参见高级选线功能
  8. 完成上述参数配置后,单击创建,创建OSS数据库仓库。

    说明:数据库仓库创建成功后,DLA自动在您设定的同步时间将RDS数据同步到OSS中,同时在OSS中创建与RDS相同的表结构,在DLA中创建对应的OSS表。