自建Greenplum迁移到AnalyticDB PostgreSQL版

迁移流程

1. 评估迁移风险，确定迁移方案和计划。

2. 采购AnalyticDB PostgreSQL版测试实例，验证迁移方案（包含数据迁移验证和应用迁移验证）。

3. 采购AnalyticDB PostgreSQL版生产实例，迁移自建Greenplum集群生产库。

4. 将业务切换到AnalyticDB PostgreSQL版生产实例，验证业务。

注意事项

• 目前仅支持数据迁移，不支持数据同步，如果迁移过程中新写入了数据，需要在迁移完成后主动补数。

• 请尽量在业务停止写入的情况下进行迁移。如果迁移过程中业务不暂停，数据迁移会对业务性能产生一定影响，且数据迁移速度会降低。

• 迁移完成后，AnalyticDB PostgreSQL版实例会执行ANALYZE来收集统计信息，以生成合适的执行计划。执行ANALYZE过程中，Master节点的CPU水位会暂时升高，CPU水位升高的时间由数据量决定。

• 新建的AnalyticDB PostgreSQL版实例的Segment节点数量建议大于或等于源Greenplum集群的节点数量。如果使用gpcopy进行迁移，节点数量相同的情况下可以获得最佳迁移速度。

• 请确认自建Greenplum集群与AnalyticDB PostgreSQL版实例支持的插件（Extension）差异，关于AnalyticDB PostgreSQL版支持的插件，请参见扩展插件列表。

• AnalyticDB PostgreSQL版实例与Greenplum 4X版本的语法存在部分语法不兼容的情况，需要您手动修改。

• 如果自建Greenplum集群中有分区表或INHERIT表，建议您从子表粒度迁移。

选择迁移方法

使用gpcopy迁移数据

1. 提交工单联系阿里云技术支持，并将AnalyticDB PostgreSQL版实例ID、自建Greenplum集群的IP地址和端口号、可用于迁移数据的Greenplum superuser权限账号和安装自建Greenplum集群的服务器的IP地址提供给阿里云技术支持。

2. 在AnalyticDB PostgreSQL版实例设置IP白名单为0.0.0.0/0，允许外部IP访问。

   警告

   设置为0.0.0.0/0表示对访问的IP地址来源不作任何限制，此时AnalyticDB PostgreSQL版实例将面临高安全风险，请在数据迁移完成后立即修改IP白名单。

3. 在自建Greenplum集群所在的服务器上下载gpcopy，同时让阿里云技术支持在AnalyticDB PostgreSQL版实例上下载并安装gpcopy。

   说明

   本文使用的gpcopy版本为2.3.2，建议您使用2.3.x版本的gpcopy迁移数据。如果使用2.4.x版本的gpcopy迁移，需要开启SSL链路加密。AnalyticDB PostgreSQL版实例设置SSL加密的方法，请参见设置SSL加密。

4. 在gpcopy压缩包所在的目录下执行以下脚本，用以安装gpcopy。

   #!/bin/bash
   
   tar xzvf gpcopy-2.3.2.tar.gz 
   
   cd gpcopy-2.3.2/
   cp gpcopy $GPHOME/bin
   cp gpcopy_helper $GPHOME/bin
   chmod 755 $GPHOME/bin/gpcopy
   chmod 755 $GPHOME/bin/gpcopy_helper
   
   host_sql=`psql -A -t -c "select address from gp_segment_configuration where role = 'p' and content >= 0 group by address"`
   host=(${host_sql})
   host_len=${#host[@]}
   
   host_str=""
   for ((i=0; i<$host_len; ++i)); do
       host_str=$host_str" -h "${host[$i]}
   done
   
   gpscp $host_str gpcopy_helper =:$GPHOME/bin
   gpssh $host_str -e "chmod 755 $GPHOME/bin/gpcopy_helper"

5. 执行以下命令迁移数据。

   gpcopy --full --source-host <SOURCEHOST> --source-port <SOURCEPORT> --source-user <SOURCEUSER> --dest-host <DESTHOST> --dest-port <DESTPORT> --dest-user <DESTUSER> --jobs 4 --drop --validate count

   参数说明如下：

   参数	说明
   --full	表示全量迁移Greenplum集群的数据。 如果只迁移Greenplum集群中的一个数据库，可以替换为-d <数据库名称>进行迁移。
   --jobs	表示迁移任务的并发数，默认为4，即并行传输4张表。 您需要根据业务需求调整并发数，建议设置为连接数的2*n+1个。
   <SOURCEHOST>	自建Greenplum集群所在的服务器的IP地址。 如果在自建Greenplum集群所在的服务器上执行迁移命令，可以使用localhost代替。
   <SOURCEPORT>	自建Greenplum集群的端口号，默认为5432。 您可以在自建Greenplum集群所在的服务器上执行gpstate -s命令查看实际端口号。
   <SOURCEUSER>	自建Greenplum集群下具有superuser权限的账号。
   <DESTHOST>	AnalyticDB PostgreSQL版实例的Master节点的IP地址，请联系阿里云技术支持获取。
   <DESTPORT>	AnalyticDB PostgreSQL版实例的Master节点的端口号，请联系阿里云技术支持获取。
   <DESTUSER>	AnalyticDB PostgreSQL版实例下superuser权限账号，请联系阿里云技术支持进行获取。

6. 完成迁移后需要将AnalyticDB PostgreSQL版实例的IP白名单修改为业务所需的IP地址，并让阿里云技术支持将安全组、pg_hba免密、superuser权限账号等信息进行复原。

使用gptransfer迁移数据

1. 创建AnalyticDB PostgreSQL版实例的初始账号，操作方法，请参见创建初始账号。

2. 将AnalyticDB PostgreSQL版实例的IP白名单设置为0.0.0.0/0，允许外部IP访问。

   警告

   设置为0.0.0.0/0表示对访问的IP地址来源不作任何限制，此时AnalyticDB PostgreSQL版实例将面临高安全风险，请在数据迁移完成后立即修改IP白名单。

3. 将AnalyticDB PostgreSQL版实例的内核版本升级至最新版，如何查看内核版本和升级内核版本，请参见查看内核小版本和版本升级。

4. 提交工单联系阿里云技术支持，将AnalyticDB PostgreSQL版的实例ID、自建Greenplum集群的IP地址和端口号、可以用于迁移数据的Greenplum的账号、Greenplum集群所在服务器的IP地址等信息提供给阿里云技术支持。

5. 等待数据迁移完成。

6. 将AnalyticDB PostgreSQL版实例的IP白名单修改为业务所需的IP地址，并对数据进行验证。完成后即可将业务的连接地址切换至AnalyticDB PostgreSQL版实例。

使用OSS外表迁移数据

其他迁移方式

您可也以使用阿里云DataWorks工具来迁移数据。具体操作，请参见DataWorks数据集成。