数据复制

前提条件

• 已创建EMR集群。具体操作，请参见创建EMR集群。

  重要

  • 创建集群时，请确保打开Master节点组的挂载公网开关，将集群挂载到公网，用于远程登录。

  • 不开启"挂载公网"，创建后只能通过内网访问。创建后如果您需要公网访问，请前往ECS挂载EIP。

• 已创建表格存储数据表，且目标表的主键列应和需要复制的源表主键列保持一致（包括主键顺序和名称）。具体操作，请参见通过控制台创建数据表或通过SDK创建数据表。

• 已创建RAM用户，并授予RAM用户管理表格存储服务的权限（AliyunOTSFullAccess）。具体操作，请参见配置RAM用户权限。

  重要

  由于配置时需要填写访问密钥AccessKey（AK）信息来执行授权，为避免阿里云账号泄露AccessKey带来的安全风险，建议您通过RAM用户来完成授权和AccessKey的创建。

• 已获取AccessKey（包括AccessKey ID和AccessKey Secret），用于进行签名认证。具体操作，请参见获取AccessKey。

步骤一：启动Spark SQL CLI

1. 远程登录EMR集群的Master节点。具体操作，请参见远程登录Master节点。

2. 执行如下命令启动Spark SQL CLI，用于Spark表创建和后续的SQL操作。

   spark-sql --jars /opt/apps/SPARK-EXTENSION/spark-extension-current/spark3-emrsdk/*,/opt/apps/HADOOP-COMMON/hadoop-common-current/share/hadoop/common/lib/commons-net-3.6.jar

   

步骤二：创建Spark表

以两张表格存储数据表source_pet和target_pet为例，表结构如下，其中name为主键。

1. 创建source_pet外表。

   CREATE TABLE source_pet
   USING tablestore
   OPTIONS(endpoint = "https://xxx.cn-hangzhou.vpc.tablestore.aliyuncs.com",
           access.key.id = "xxx",
           access.key.secret = "xxx",
           table.name = "source_pet",
           instance.name = "test_instance",
           catalog = '{"columns":{"name":{"col":"name","type":"string"},"owner":{"col":"owner","type":"string"},"species":{"col":"species","type":"string"},"sex":{"col":"sex","type":"string"},"birth":{"col":"birth","type":"string"},"death":{"col":"death","type":"string"}}}'
   );

   具体参数说明请参见下表。

   参数	说明
   endpoint	表格存储实例访问地址，建议使用VPC地址。使用VPC时，请确保EMR集群和表格存储实例之间的网络可连通。更多信息，请参见服务地址。 说明 如果要实现跨账号、跨地域数据复制，请通过云企业网连通VPC进行操作。关于使用云企业网的具体操作，请参见云企业网快速入门。
   access.key.id	阿里云账号或者RAM用户的AccessKey ID和AccessKey Secret。获取方式请参见创建AccessKey。
   access.key.secret
   instance.name	表格存储实例名称。
   table.name	表格存储的数据表名称。
   catalog	表格存储数据表的Schema定义。

2. 创建target_pet外表。

   CREATE TABLE target_pet
   USING tablestore
   OPTIONS(endpoint = "https://xxx.cn-hangzhou.vpc.tablestore.aliyuncs.com",
           access.key.id = "xxx",
           access.key.secret = "xxx",
           table.name = "target_pet",
           instance.name = "test_instance",
           catalog = '{"columns":{"name":{"col":"name","type":"string"},"owner":{"col":"owner","type":"string"},"species":{"col":"species","type":"string"},"sex":{"col":"sex","type":"string"},"birth":{"col":"birth","type":"string"},"death":{"col":"death","type":"string"}}}'
   );

   创建target_pet外表与创建source_pet外表的参数设置中只有table.name字段有差别，其他参数设置均相同。

   说明

   如果要实现跨账号、跨地域数据复制，请通过云企业网连通VPC进行操作。关于使用云企业网的具体操作，请参见云企业网快速入门。

步骤三：复制数据

将source_pet表中数据复制到target_pet表中。

INSERT INTO target_pet SELECT * FROM source_pet;