通过一键建仓同步至数仓版

您可以在云原生数据仓库 AnalyticDB MySQL 版控制台上通过一键建仓将一个日志服务项目(Project)中的日志投递到AnalyticDB for MySQL集群,快速创建日志仓库。

适用范围

一键创建数据仓库仅适用于AnalyticDB for MySQL数仓版集群。

前提条件

  • 已在AnalyticDB for MySQL集群中创建数据库和表。更多信息,请参见创建数据库CREATE TABLE

  • 已在AnalyticDB for MySQL集群所在地域,创建日志服务Project和Logstore。更多信息,请参见1. 创建Project和Logstore

    重要

    目前日志服务仅支持投递日志到相同地域的AnalyticDB for MySQL

  • 已采集日志到Logstore。更多信息,请参见2. 添加Logtail采集配置

计费

日志数据投递到AnalyticDB for MySQL的费用包含:

  • 数据投递费用

  • 读写次数费用

  • 读流量费用

具体计费规则,请参见按使用功能计费模式计费项

应用场景

一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题,同时提供了高性价比的AnalyticDB for MySQL存储计算资源方案。一键建仓适用于以下场景:

  • 全库同步。通过一键建仓一键生成同步链路,将一个或多个日志库中的数据同步到同一个AnalyticDB for MySQL集群中。

  • 多源汇集。通过一键建仓,可以将RDS、PolarDB MySQL、日志数据便捷地汇集到同一个AnalyticDB for MySQL集群。

操作步骤

  1. 登录云原生数据仓库AnalyticDB MySQL控制台
  2. 在左侧导航栏,单击集群列表
  3. 单击一键建仓 > 日志一键建仓

  4. 日志一键建仓页面,按照页面提示进行参数配置。

    qwesad

    参数

    说明

    Project名称

    Project名称下拉列表,选择日志服务。

    重要

    目前日志服务仅支持投递日志到相同地域的AnalyticDB for MySQL

    Logstore名称

    Logstore名称下拉列表,选择日志库。

    投递名称

    为投递任务取一个名字,便于后续管理。

    投递描述

    为投递任务填写有意义的描述,便于后续管理。

    集群名称

    从下拉列表中选择目标AnalyticDB for MySQL集群。

    数据库名称

    从下拉列表中选择目标AnalyticDB for MySQL数据库名。

    表名

    从下拉列表中选择目标AnalyticDB for MySQL表名。

    账号名称

    目标AnalyticDB for MySQL中创建的数据库账号

    账号密码

    填写账号名称对应的密码。

    字段映射

    系统自动提取日志服务中最近10分钟的日志字段,同时自动映射对应的AnalyticDB for MySQL字段。

    单击增加一条新增字段。

    投递开始时间

    设置投递开始时间。

    当数据写入日志服务后,日志服务实时将数据投递到AnalyticDB for MySQL表中。

    是否过滤脏数据

    设置是否过滤脏数据。

    • :遇到脏数据时,投递任务自动中断。

    • :遇到脏数据时,过滤掉脏数据。

      脏数据包括数据类型转换失败和非空字段为空等。

  5. 完成上述参数配置后,单击确定,日志服务将在您设置的投递时间将日志实时投递到AnalyticDB for MySQL表中。

    将日志投递到AnalyticDB for MySQL后,您就可以通过SELECT对日志数据进行自由灵活地分析。

    更多日志服务信息,请参见日志服务

查看或变更同步任务

通过AnalyticDB for MySQL控制台查看或变更同步任务

云原生数据仓库AnalyticDB MySQL控制台同步概览页面,可查看该集群下的同步任务详情。您也可以修改同步的数据源,暂停、启动、删除同步任务。

通过DTS控制台查看同步任务

  1. 登录数据传输控制台

  2. 在左侧导航栏,单击数据同步

  3. 同步任务页面顶部,选择数据同步实例所属地域。

    说明

    数据同步实例的所属地域与目标AnalyticDB for MySQL集群所属地域一致。

  4. 同步任务页的搜索框中,输入任务名ADB一键建仓同步作业,即可查看当前地域下所有AnalyticDB for MySQL一键建仓的同步任务详情。

    说明

    DTS同步任务详情,请参见查看同步链路状态和性能

相关文档