配置Redshift数据源

步骤一：准备外部数据源

在Redshift端准备读取数据时，需要完成下表中的准备工作，详情及具体操作见下。

1. 确保Redshift集群或Serverless Workgroup已创建并处于可用状态。

2. 获取JDBC连接地址

   获取Redshift的JDBC连接地址，后续在MMS中新增数据源时需要填写。

   • 集群模式格式：jdbc:redshift://cluster-name.xxx.redshift.amazonaws.com:5439/

   • Serverless模式格式：jdbc:redshift://xxx.redshift-serverless.amazonaws.com:5439/

3. 配置网络和安全组

   MMS是阿里云服务，跨云访问AWS Redshift，需确保网络连通性。

   以下为MMS通过公网访问（最简单的方式）AWS Redshift的示例：

   1. 确保Redshift已开启公开访问（Publicly accessible）。

   2. 将阿里云MMS的出口IP地址段添加到Redshift关联的安全组入站规则中。

   安全组入站规则示例（公网访问）：

   类型	端口	源地址	说明
   Redshift	5439	MMS出口IP	允许MMS访问Redshift

   警告

   建议仅开放必要的IP地址段，避免使用0.0.0.0/0。

4. 准备AWS Access Key

   准备具有S3读取权限的AWS Access Key ID和Secret Access Key，用于MaxCompute Spark访问S3临时目录读取数据。

   所需最小权限如下：

   权限	说明	是否必需
   s3:GetObject	读取S3临时目录中的数据文件	必需
   s3:ListBucket	列出S3存储桶中的对象	必需

   最小权限策略示例：

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "s3:GetObject",
           "s3:ListBucket"
         ],
         "Resource": [
           "arn:aws:s3:::my-bucket",
           "arn:aws:s3:::my-bucket/*"
         ]
       }
     ]
   }

5. 创建S3存储桶（临时目录）

   • 创建用于存储迁移过程中临时数据的S3存储桶。

   • 建议配置生命周期策略，自动清理临时数据以降低存储成本。

6. 创建并关联IAM Role

   创建允许Redshift写入S3的IAM Role，并将其关联到Redshift集群或Serverless配置中。

   重要

   IAM Role必须关联Redshift 集群或 Serverless 配置，否则UNLOAD操作会报错"The requested role is not associated to cluster"。

   1. 所需S3权限

      权限	说明	是否必需
      s3:PutObject	Redshift UNLOAD将数据导出到S3	必需
      s3:GetObject	Redshift读取S3数据	必需
      s3:ListBucket	spark-redshift查询存储桶内容	必需

   2. 关联IAM Role到Redshift

      集群模式和Serverless模式的关联方式不同：

      集群模式

      1. 登录AWS Redshift控制台。

      2. 选择目标集群，单击操作（Actions）。

      3. 单击管理IAM角色（Manage IAM roles）。

      4. 选择创建的IAM Role，单击关联IAM角色（Associate IAM role），保存更改。

      Serverless模式

      1. 登录AWS Redshift控制台。

      2. 在左侧导航选择Redshift Serverless。

      3. 选择命名空间（Namespaces），单击目标命名空间。

      4. 在安全和加密（Security and encryption）选项卡中，找到权限（Permissions）。

      5. 单击管理IAM角色（Manage IAM roles），添加创建的IAM Role，保存更改。

   3. IAM Role 配置示例

      • 信任关系策略（允许 Redshift 服务担任）：

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Effect": "Allow",
              "Principal": {
                "Service": [
                  "redshift.amazonaws.com",
                  "redshift-serverless.amazonaws.com"
                ]
              },
              "Action": "sts:AssumeRole"
            }
          ]
        }

      • 最小权限策略（仅包含必需权限）：

        {
          "Version": "2012-10-17",
          "Statement": [
            {
              "Effect": "Allow",
              "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:ListBucket"
              ],
              "Resource": [
                "arn:aws:s3:::my-bucket",
                "arn:aws:s3:::my-bucket/*"
              ]
            }
          ]
        }

7. 数据库用户权限

   Redshift数据库用户需要具备以下权限：

   权限类型	说明
   系统表读取权限	访问pg_class、pg_namespace、pg_attribute、pg_type、pg_constraint、svv_redshift_schemas等系统表的SELECT权限（普通用户默认拥有）
   表读取权限	对要迁移表的SELECT权限
   S3写入权限	通过IAM Role授权Redshift写入S3临时目录

步骤二：新增数据源

1. 登录MaxCompute控制台，在左上角选择地域。

2. 在左侧导航栏，选择数据传输 > 迁移服务。

3. 在数据源页签，单击新增数据源。

   在弹出的MaxCompute服务关联角色对话框中，单击确认，即可创建成功。若未自动弹出该对话框，则表明该角色已创建。

   在新增数据源页面，配置数据源信息，然后单击新增，完成数据源创建。

   • 数据源基本信息

     参数名	是否必填	说明
     数据源名称	是	数据源名称，可自定义，不能包含字符、数字、汉字之外的特殊字符。
     数据源类型	是	选择Redshift。
     网络连接	是	选择需要使用的网络连接。 网络连接在MaxCompute管理配置 > 网络连接 模块创建，用于MMS与VPC通信，最终连接数据源。
     AWS Access Key ID	是	AWS访问密钥ID。用于MaxCompute Spark访问S3临时目录读取迁移数据。获取方式请参见AWS IAM创建访问密钥。
     AWS Secret Access Key	是	AWS访问密钥。与Access Key ID共同使用，用于MaxCompute Spark访问S3临时目录。
     Redshift JDBC URL	是	Redshift JDBC连接地址（不含数据库名和用户名密码）。格式：jdbc:redshift://endpoint:5439/。 集群模式示例：jdbc:redshift://cluster-name.xxx.redshift.amazonaws.com:5439/。 Serverless模式示例：jdbc:redshift://xxx.redshift-serverless.amazonaws.com:5439/。
     Redshift数据库名	是	Redshift数据库名称。
     Redshift用户名	是	Redshift数据库用户名。
     Redshift密码	是	Redshift数据库密码。用于 MMS 连接 Redshift 获取元数据（表结构、列信息、约束等）和执行 UNLOAD 操作导出数据到 S3。
     S3临时目录区域	否	S3 临时目录所在的 AWS Region。显式指定可避免跨区域问题和自动发现延迟。示例：us-east-1、us-west-2。
     S3 临时目录	是	spark-redshift 使用的 S3 临时目录，用于存储 UNLOAD 出来的临时数据。 格式：s3a://bucket/path/。迁移完成后可配置 S3 生命周期策略自动清理临时数据。
     AWS IAM Role	是	Redshift 写入 S3 使用的 IAM Role。Redshift 使用此角色将数据 UNLOAD 到 S3 临时目录。 格式：arn:aws:iam::account-id:role/role-name。 创建方式请参见 AWS IAM 创建角色和 Redshift UNLOAD 文档。
     默认目标MaxCompute项目	是	数据迁移时选择映射的目标项目，不可修改。
     目标MaxCompute项目列表	否	若一个数据源的数据需要迁移到多个目标项目，需配置目标MaxCompute项目列表。
     MaxCompute执行迁移作业的项目	是	迁移过程中，执行在MaxCompute上发起的Spark、SQL等迁移作业的项目，并使用该项目关联的默认计算Quota。

   • 其他信息

     以下参数均为可选，根据需要填写。

     单击展开查看参数详情

     参数名	说明
     Metastore定时更新	数据源元数据是否定时拉取。 启用：定时拉取，更新周期支持每天和每小时，支持配置更新开始时间。 每日更新：定时器每天运行一次，运行时刻为选定的24小时内的某一时间（精确到分钟）。 每小时更新：定时器每小时运行一次，运行时刻为选定的60分钟内的某一分钟。 禁用：不定时拉取。
     Metastore访问并发量	访问MetaStore的并发量，默认为3。
     Schema白名单	需要迁移的 Schema，多个值之间以半角逗号（,）分隔。
     Schema黑名单	不需要迁移的 Schema，多个值之间以半角逗号（,）分隔。
     表黑名单	不需要迁移的 Redshift 数据表。单个表的格式为 schema.table 或 table，多个表之间以半角逗号（,）分隔。
     表白名单	需要迁移的 Redshift 数据表。单个表的格式为 schema.table 或 table，多个表之间以半角逗号（,）分隔。
     数据搬迁任务最大并发量	MMS最大迁移任务的并发量。过大的并发量可能造成源端负载压力过大。默认20。
     MaxCompute迁移任务sql参数	SQL参数。参考 Flag参数列表
     表名字符转换配置	格式为JSON，如 {"%": "_"} 用于将源表里的特殊字符映射为MaxCompute支持的字符。
     列名字符转换配置
     单个任务处理的最多分区数量	默认50。即一次MMA任务迁移的分区数量，通过批量的分区迁移，可以减少提交SQL的次数，节约SQL提交时间。一般不需要修改。
     单个任务处理的最大数量(单位G)	默认5G。一般不需要修改。
     分区特殊字符映射	格式为JSON，如 {"/": "_"} 用于将源分区值中的特殊字符映射为MaxCompute支持的字符。

步骤三：同步元数据

数据源启动后会生成一个作业实例，实现数据源与MMS服务的连接，再将源数据同步至MMS服务，以便配置后续迁移作业。

1. 在数据源页签，单击目标数据源对应的操作列的更新元数据。

2. 在数据源页签，可以查看目标数据源的运行状态。

3. 若数据源的元数据存在变动，且启用了元数据定时更新，系统会按照配置的时间定时更新，无需手动进行元数据同步操作。

连接问题排查

1. JDBC连接失败

   • 检查网络连接是否正确配置。

   • 确认JDBC URL格式正确。

   • 验证用户名和密码是否正确。

2. S3访问权限问题

   • 确认AWS Access Key有S3读取权限。

   • 确认IAM Role已正确关联到Redshift集群或Serverless命名空间。

   • 检查S3存储桶策略是否允许访问。

性能优化建议

1. S3临时目录区域

   • 建议将S3临时目录创建在与Redshift同一区域，避免跨区域数据传输。

   • 显式配置redshift.tempdir.region参数，避免自动发现延迟。

2. S3生命周期策略

   • 建议为S3临时目录配置生命周期策略，自动清理过期数据。

   • 可设置7天后自动删除临时文件。