配置MaxCompute数据源

数据源的元数据同步权限

1. MaxCompute源端项目需创建服务关联角色（AliyunServiceRoleForMaxComputeMMS）。

   注意此处应使用源端账号创建服务关联角色。

   1. 若当前用户使用账号为阿里云主账号，可以直接操作创建服务关联角色；

      若当前用户为RAM用户，则需要先授予RAM用户操作权限AliyunRAMFullAccess，操作详情参考管理RAM角色的权限。

   2. 创建服务关联角色有两种方式：通过MaxCompute控制台和通过RAM控制台，操作步骤如下：

      通过MaxCompute控制台

      1. 登录MaxCompute控制台，在左上角选择地域。

      2. 在左侧导航栏，选择数据传输 > 迁移服务。

      3. 在数据源页签，单击新增数据源。

      4. 在弹出的MaxCompute服务关联角色对话框中，单击确认，即可创建成功。若未自动弹出该对话框，则表明该角色已创建。

      通过RAM控制台

      1. 登录RAM控制台。

      2. 在左侧导航栏选择身份管理 > 角色。

      3. 在角色页面，单击创建角色。

      4. 在创建角色页面的右上角，单击创建服务关联角色。

      5. 在创建服务关联角色页面，选择信任的云服务AliyunServiceRoleForMaxComputeMMS，单击创建服务关联角色。

2. 配置MaxCompute源端项目的相关数据操作权限。

   使得MMS获取源端元数据信息并在迁移过程中读取数据。注意此处应使用源端账号配置操作权限。建议直接赋予admin角色。

   通过SQL配置

   1. 使用本地客户端（odpscmd）连接MaxCompute，添加已创建的服务关联角色。

      USE <target_projectname>;
      
      -- 为用户添加服务关联角色。
      Add USER  `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

   2. 给用户授予权限

      MaxCompute支持不同粒度权限控制，在项目实际运行过程中，可根据人员操作范畴授权。

      • 粗粒度授权，直接授权admin角色给user，不用逐张表给同一用户重复授予权限。

        GRANT admin TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

      • 细粒度授权：逐个项目、表或实例级别授权。

        授予项目级数据操作权限

        -- 授予项目级数据操作权限。
        GRANT <actions> 
          ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- 支持的actions
        Read,Write,List,CreateTable,CreateInstance,CreateFunction,CreateResource,All
        -- 示例1
        GRANT Read,Write,List,CreateTable,CreateInstance,CreateFunction,CreateResource
          ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- 示例2
        GRANT ALL 
          ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

        授予表级数据操作权限

        -- 授予表级数据操作权限。
        GRANT <actions> 
          ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- 支持的actions
        Describe,Select,Alter,Update,Drop,ShowHistory,All
        -- 示例1
        GRANT Describe,Select,Alter,Update,Drop,ShowHistory
          ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- 示例2
        GRANT All
          ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

        授予实例级数据操作权限

        -- 授予实例级数据操作权限。 
        GRANT <actions> 
          ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        -- 支持的actions
        Read,Write,All 
        
        -- 示例1
        GRANT Read,Write 
          ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        
        -- 示例2
        GRANT All 
          ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
        

   参数说明：

   • target_projectname：必填，目标项目空间的名称。

   • account_id：必填，阿里云主账号名称。

   • privileges：必填，被授予的操作权限名称。单次授权可以指定多个操作，多个操作名称之间使用半角逗号（,）分隔。

   通过MaxCompute控制台配置

   1. 登录MaxCompute控制台，在左上角选择地域。

   2. 在左侧导航栏，选择管理配置 > 项目管理。

   3. 在项目管理页面，单击目标项目操作列的管理。

   4. 在项目配置页面，选择角色权限页签。

   5. 在弹出的新建角色对话框，根据界面提示文案配置项目信息，单击确定。

      该步骤的目的是在MaxCompute中单独创建一个项目角色，并为该角色单独授予专用于MMS的数据操作权限。

      也可选择使用项目内置的admin角色，无需通过该步骤新增角色，直接执行下一步骤。

      配置参数如下：

      参数	是否必填	描述
      角色名称	必填	字母开头，可包含字母和数字，长度不超过64个字符
      角色类型	必填	Admin：管理类型角色。 支持通过Policy授予管理类型权限，不支持授予资源权限； 不支持通过ACL方式授予管理类权限。 Resource：资源类型角色。 支持通过Policy或ACL方式授予资源类型权限，不支持授予管理类型权限
      授权方式	必填	ACL（Access Control Lists）：白名单授权机制，允许用户或角色对指定对象执行指定操作。 Policy：支持白名单和黑名单授权机制，适合需要细粒度控制的大型企业和复杂场景。

      为用户授予项目、表、模型、资源、函数或实例的操作权限。可授予的权限列表如下：

      对象	权限
      Table	Describe、Select、Update、Alter、Drop、ShowHistory、Download
      Resource	Read、Write、Download、Delete
      Function	Read、Write、Download、Execute、Delete
      Package	Read
      Project	Read、Write、List、CreateTable、CreateInstance

   6. 选择目标项目级别角色，单击操作列的成员管理。选择需授权的阿里云主账号或RAM用户，单击确定完成授权。若首次授权时未能搜索到对应账号，可下方手动添加成员区域添加。

   源端MaxCompute项目需要的权限如下表：

   对象	权限
   Table	Describe
   Project	List、CreateInstance

3. 为源端主账号添加读information_schema的权限。

   1. 登录MaxCompute控制台，在左上角选择地域。

   2. 在左侧导航栏，选择管理配置 > 租户管理 。

   3. 在租户管理页面，单击角色管理页签。

      在角色管理页签，单击新增角色，在弹出的新增角色对话框，填写自定义角色名称和policy内容，然后单击确定完成创建。

      policy内容配置如下：

      {
          "Statement":[
              {
                  "Action":[
                      "odps:Describe",
                      "odps:Select"
                  ],
                  "Effect":"Allow",
                  "Resource":[
                      "acs:odps:*:catalogs/system_catalog/schemas/information_schema/tables/*"
                  ]
              },
              {
                  "Action":[
                      "odps:List"
                  ],
                  "Effect":"Allow",
                  "Resource":[
                      "acs:odps:*:catalogs/system_catalog/schemas/information_schema"
                  ]
              }
          ],
          "Version":"1"
      }

   4. 在租户管理页面，单击用户管理页签。

      在用户管理页签，单击新增成员，在弹出的添加成员对话框，勾选或手动添加需要设置角色的账号。在批量设置角色区域选择要为这些账号配置的角色，单击，然后确定，完成配置。

数据迁移权限

• 迁移任务为SQL模式

  源端项目需给目标服务关联角色（AliyunServiceRoleForMaxComputeMMS）授权源项目的数据读取权限，包括Select、Describe权限。

  适用范围

  • 同地域迁移。

  • 跨地域迁移。地域包括华东2（上海）、华东1（杭州）、华北2（北京）、华南1（深圳）、西南1（成都）、华北6（乌兰察布）。

  授权方式

  • 授权方式一：跨主账号授权方式。通过使用本地客户端（odpscmd）连接至MaxCompute。

    跨账号授权目标端的子账号访问源项目

    跨账号授权目标端的子账号访问源项目，目标端子账号需要有目标项目的admin和super_administrator权限。

    • 源主账号或有权限的子账号操作。

      USE 源项目;
      ADD USER `ALIYUN$目标项目内的子账号`;
      GRANT super_administrator TO USER `ALIYUN$目标项目内的子账号`;

    • 目标子账号操作。

      可以直接授权admin，也可以授权自定义权限角色（包括需要迁移的表的select、describe权限）。

      USE 源项目;
      ADD USER  `RAM$目标项目主账号:role/AliyunServiceRoleForMaxComputeMMS`;
      GRANT admin TO USER  `RAM$目标项目主账号:role/AliyunServiceRoleForMaxComputeMMS`;

    跨账号授权目标端的主账号访问源项目

    • 源主账号或有权限的子账号操作。

      USE 源项目;
      ADD USER `ALIYUN$目标项目主账号`;
      GRANT super_administrator TO USER `ALIYUN$目标项目主账号`;

    • 目标主账号操作。

      可以直接授权admin，也可以授权自定义权限角色（包括需要迁移的表的select、describe权限）。

      USE 源项目;
      ADD USER `ALIYUN$目标项目主账号`;
      GRANT super_administrator TO USER `ALIYUN$目标项目主账号`;

  • 授权方式二：基于Package跨项目访问资源方式。将源项目需要迁移的表通过Package授权给目标的服务关联角色（AliyunServiceRoleForMaxComputeMMS）。

• 迁移任务为Spark+开放存储模式

  给源项目的服务关联角色（AliyunServiceRoleForMaxComputeMMS）授予Table的Describe、Select、Download权限，适用于除上述SQL模式支持地域外的其他地域之间的跨地域数据迁移。

  授权方式参考准备工作-「步骤四：权限配置」中配置用户MaxCompute数据操作权限。建议直接赋予admin角色（若数据源元数据同步权限准备中已经授权admin，则无需再次授权）。

使用预付费Storage API

使用预付费Storage API

1. 在源端项目所在地域购买数据传输服务Quota。

   单击链接进入MaxCompute控制台购买页，新购Quota。

   商品类型选择包年包月；规格类型选择数据传输服务。

2. 打开源端项目的Storage API开关，命令如下：

   setproject odps.tunnel.enable.quota.route.v2=true;

3. 新增角色，为源端主账号添加Quota使用权限。

   1. 登录MaxCompute控制台，在左上角选择地域。

   2. 在左侧导航栏，选择管理配置 > 租户管理 。

   3. 在租户管理页面，单击角色管理页签。

      在角色管理页签，单击新增角色，在弹出的新增角色对话框，填写自定义角色名称和policy内容，然后单击确定完成创建。

      policy内容配置如下：

      {
          "Statement": [{
                  "Action": [
                      "odps:List",
                      "odps:Usage"],
                  "Effect": "Allow",
                  "Resource": ["acs:odps:*:regions/*/quotas/*"]}],
          "Version": "1"
      }

   4. 在租户管理页面，单击用户管理页签。

      在用户管理页签，单击新增成员，在弹出的添加成员对话框，勾选或手动添加需要设置角色的账号。在批量设置角色区域选择要为这些账号配置的角色，单击，然后确定，完成配置。

使用后付费Storage API

使用后付费Storage API

1. 打开源端项目的Storage API开关

   1. 登录MaxCompute控制台，在左上角选择地域。

   2. 在左侧导航栏，选择管理配置 > 租户管理 。

   3. 在租户管理页面，单击租户属性页签。

      在租户属性页签，打开开放存储(Storage API)开关。

2. 新增角色，为源端主账号添加Quota使用权限。

   1. 登录MaxCompute控制台，在左上角选择地域。

   2. 在左侧导航栏，选择管理配置 > 租户管理 。

   3. 在租户管理页面，单击角色管理页签。

      在角色管理页签，单击新增角色，在弹出的新增角色对话框，填写自定义角色名称和policy内容，然后单击确定完成创建。

      policy内容配置如下：

      {
          "Statement": [{
                  "Action": [
                      "odps:List",
                      "odps:Usage"],
                  "Effect": "Allow",
                  "Resource": ["acs:odps:*:regions/*/quotas/pay-as-you-go"]}],
          "Version": "1"
      }

   4. 在租户管理页面，单击用户管理页签。

      在用户管理页签，单击新增成员，在弹出的添加成员对话框，勾选或手动添加需要设置角色的账号。在批量设置角色区域选择要为这些账号配置的角色，单击，然后确定，完成配置。

3. 通过VPC对等连接或使用CEN方案完成VPC网络互联将当前地域的IP加入路由，详情参见下方网络配置步骤。