数据管理DMS的T+1全量数据快照功能支持将业务表的数据按照每天或每小时1次的频率在数据仓库中形成数据快照,方便您以小时、日、月等时间维度对数据进行统计分析。本文介绍创建T+1全量数据快照工单的方法。
前提条件
- 快照引擎:存储快照的目标数据库。
- 数据库类型:AnalyticDB MySQL版。
- 实例的管控模式为安全协同,查看管控模式,请参见查看管控模式。
- 快照数据源:生成快照的源数据库。
- 数据库类型:RDS MySQL、PolarDB MySQL引擎或由PolarDB MySQL引擎组成的逻辑库。
- 实例的管控模式为安全协同,查看管控模式,请参见查看管控模式。
- 您使用的是阿里云账号或拥有AliyunDTSFullAccess权限策略的RAM用户。
说明 如果RAM用户没有被授权AliyunDTSFullAccess,界面会出现提示授权对话框。使用主账号或拥有AdministratorAccess权限策略的RAM用户进行授权,添加权限策略,请参见为RAM用户授权。
背景信息
T+1全量数据快照先通过DTS实时解析日志获取业务侧数据变化(对生产影响极小),形成增量拉链表,然后在DMS中按照客户需求进行任务调度,在云原生数仓AnalyticDB MySQL版中生成全量数据快照。数据快照按天或小时进行分区,每个分区中包含历史全量数据。
说明 不同于传统拉链表,DMS提供的拉链表不仅能够记录增量数据,还会记录数据实时变化信息,通过拉链表能够准确查询任意时间点的快照数据。
应用场景
T+1全量数据快照是数仓建设过程中业务数据入仓的常用方式,以天或小时为周期将业务表的全量数据入仓,方便以日或月为维度进行统计分析:
- 记录用户的每日余额,用于财务系统的账单、对账等场景。
- 记录某个商品的每日价格,用于跟踪当前商品的价格是否处于历史低位,可用于促销提醒等场景。
- 统计截止前一天的订单总额,了解业务运行情况。
使用限制
如果快照数据源中的表结构发生了改变,可能会影响同步链路的可用性,目前只支持新增列。
说明 新建表、删除表、清空表、重命名表、删除列、重命名列、修改列类型等DDL都会使链路中断,如果链路中断,您需要在运维中心进行修复或者提交工单。
收费策略
DTS数据同步链路涉及收费,链路规格为small,计费方式为按量付费。费用详情,请参见产品定价。说明 数据同步到自研数据库AnalyticDB MySQL、PostgreSQL,可免费使用DTS后付费实例2年,限购买10次,每次只能购买1个DTS实例。
- 限DTS同步实例,限micro和small规格,期间规格变配收费。
- 如果已经购买了10次,释放已购买的实例,再次购买,则不会享受优惠。