离线集成之增量追加

场景

当上游OA系统的MySQL数据库中某条审批数据的审批状态发生变化时，应如何将这些变化的数据增量追加至MaxCompute（或Hive）的新分区中，且在后续查询中如何获取该审批流程的状态流转详情？

解决方案及功能

1. Dataphin支持在输入组件中通过输入过滤来获取最近变更的数据。

   前往研发 > 数据集成中，在目标集成任务的输入组件中，配置输入过滤条件为gmt_modified=${bizdate}，即可获取修改时间等于业务日期（自然日期的前一天）的数据。配合每日调度设置，系统将能够每天获取有变更的数据。

   

2. 配置MaxCompute输出组件，其中加载策略选择追加数据，并且指定一个分区，此时变更的数据将会追加至MaxCompute表的最新分区内。

   说明

   追加数据加载策略仅普通表可用。

   

3. 需要查询该条OA审批数据所有的状态流转详情时，在where条件中限定ds≤${bizdate}即可。