概述

Tablestore中的增量数据及全量数据可以通过DataWorks的数据集成同步到MaxCompute中。

背景信息

表格存储(Tablestore)面向海量结构化数据提供Serverless表存储服务,同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储,提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息,请参见什么是表格存储

云原生大数据计算服务(MaxCompute)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。更多信息,请参见什么是MaxCompute

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。更多信息,请参见DataWorks数据集成

使用方式

  • 全量导出

    导出表格存储全量数据到MaxCompute。具体操作,请参见全量导出

  • 增量同步

    同步表格存储增量数据到MaxCompute。具体操作,请参见增量同步

    增量数据同步到MaxCompute后,您可以在MaxCompute中使用merge_udf.jar包将表格存储的增量数据转换为全量数据格式。具体操作,请参见将表格存储的增量数据转换为全量数据格式

准备工作

  • 已确认和记录表格存储中要同步到MaxCompute的实例和数据表信息。

  • 已开通DataWorks服务并创建工作空间。具体操作,请参见开通DataWorks服务创建工作空间

  • 已创建MaxCompute表。具体操作,请参见新建MaxCompute

  • 已创建RAM用户并为RAM用户授予管理表格存储权限(AliyunOTSFullAccess)和管理DataWorks权限(AliyunDataWorksFullAccess)。具体操作,请参见创建RAM用户RAM用户授权

    重要

    由于配置时需要填写访问密钥AccessKey(AK)信息来执行授权,为避免阿里云账号泄露AccessKey带来的安全风险,建议您通过RAM用户来完成授权和AccessKey的创建。

  • 已为RAM用户创建AccessKey。具体操作,请参见创建AccessKey