映射Hologres元数据至MaxCompute外表

背景信息

MaxCompute 支持通过外部表功能对存储在Hologres等外部存储系统中的数据进行查询和分析。借助PostgreSQL JDBC驱动和RAM角色授权，您无需将数据导入到MaxCompute内部存储，即可直接操作外部数据。

在 DataWorks 中，您可以通过元数据映射快速实现该操作。此功能底层依托于MaxCompute的以下能力：

• Schema级元数据映射：通过MaxCompute的外部Schema能力实现。

• 单表级元数据映射：通过MaxCompute的外部表能力实现。

前提条件

• 已创建MaxCompute项目和Hologres实例。

• 已在数据目录中添加Hologres实例。

• Schema级元数据映射需要使用MaxCompute外部数据源，请提前在MaxCompute创建Hologres类型外部数据源。

  重要

  创建MaxCompute外部数据源时：

  • Host请填写经典网络地址，暂不支持使用VPC地址。

  • 认证方式仅支持选择RAMRole方式，暂不支持ExecuteWithUserAuth方式。

权限控制

DataWorks根据MaxCompute项目的来源确认访问身份，基于此身份，进行后续相关权限的校验。

使用限制

• 仅支持将Hologres内部数据库的数据映射至MaxCompute。

• MaxCompute上Hologres外部表的使用限制，请参见Hologres外部表。

• MaxCompute与Hologres的数据类型存在差异，Hologres部分数据类型不支持映射至MaxCompute，不支持映射的数据类型会自动忽略映射。请在使用此功能前仔细阅读MaxCompute与Hologres的数据类型映射关系，以确保适用您的业务需求。

功能入口

1. 进入DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击操作列的快速进入 > Data Studio，进入Data Studio。

2. 在左侧导航栏单击，进入数据目录。

3. 在Hologres目录中定位到需要映射元数据至MaxCompute的Schema或表，右键选择元数据映射至MaxCompute。

Schema级元数据映射

Hologres的Schema级元数据映射功能会将Hologres的Schema元数据统一映射至MaxCompute的外部Schema。操作前，建议您参考湖仓一体2.0使用指南提前了解MaxCompute外部数据源与外部Schema。

单表级元数据映射

Hologres单表级元数据映射功能将指定Hologres表通过外表方式映射至MaxCompute的指定表中，支持您指定外表路径以及自定义外表名称。

1. 进入元数据映射配置页面。

2. 在Hologres项目下找到需要映射元数据至MaxCompute的Hologres表。右键单击表名，选择元数据映射至MaxCompute，进入元数据映射配置页面。

3. 配置单表级元数据映射相关参数。

   • Hologres 源端

     参数	说明

     参数	说明
     源端对象类型	确认需要映射单表级元数据至MaxCompute的对象类型，默认为Hologres Table。
     源端对象名称	确认需要映射单表级元数据至MaxCompute的Hologres表，固定为当前选择的Hologres表。

   • MaxCompute 目标端

     参数	说明

     参数	说明
     实例查找方式	选择如何查找MaxCompute项目。 来自DataWorks数据源：通过选择当前空间绑定MaxCompute数据源的方式来选择其对应的MaxCompute项目。选择此方式后，还需要选择数据源、设置External Table名称来指定目标MaxCompute项目的具体外部表。选择该方式，您需要确保数据源指定的访问身份已拥有源Hologres表与目标MaxCompute的读写权限。 说明 仅拥有工作空间运维角色或者管理员角色的用户可选择生产数据源。 我有权限的：从当前阿里云主账号下，您有权限访问的MaxCompute项目中选择需要映射的目标MaxCompute项目。选择此方式后，还需要设置External Table名称来指定目标外表。请确保您已拥有源Hologres表与目标MaxCompute的读写权限。
     数据源	项目查找方式配置为来自DataWorks数据源时，需要手动选择目标端MaxCompute数据源。
     项目名称	项目查找方式配置为我有权限的时，需要手动选择目标端MaxCompute项目。
     Schema	指定源端Hologres Schema下的元数据映射至目标MaxCompute的外部Schema名称。
     External Table	定义指定MaxCompute项目的Schema下创建的新的外表名称，源端表数据将会被映射至此表中，默认与Hologres中表名称保持一致。 说明 创建外表为一次性动作，不会自动刷新元数据，如需刷新元数据，需要删除当前外表并重新手动创建元数据映射。
     MaxCompute外表权限	定义Hologres元数据映射至MaxCompute外表后，该外表的权限认证及鉴权方式。 双签名： 双签名是MaxCompute和Hologres共同研发的认证及鉴权协议，在MaxCompute侧使用账号登录信息加签名后，把认证数据传递给Hologres侧，Hologres根据MaxCompute底层达成的协议，进行同名认证及鉴权。因此，只需在MaxCompute与Hologres中使用相同的账号，便可直接进行外部表访问，无需额外设置认证信息。 RamRole：即通过STS模式进行认证及鉴权。
     RoleARN	当MaxCompute外表权限配置为RamRole时，需要配置。 您需要创建RAM角色并获取ARN信息填写至此处，RAM角色需要配置的相关权限，请参见创建Hologres外部表（STS模式）。
     Location	Hologres表与MaxCompute表的映射地址，自动生成，无需修改。
     生命周期	设置目标外表的生命周期。
     字段	按需配置目标外表中的MaxCompute 字段和MaxCompute 数据类型。 说明 MaxCompute与Hologres的数据类型存在差异，部分数据类型不支持映射。具体数据类型映射关系，请参见MaxCompute与Hologres的数据类型映射。

4. 单击顶部运行按钮，完成Hologres表级数据映射。

后续步骤

• 在数据目录 > MaxCompute下查看已映射的外部Schema或指定Schema下的外表。

• 在数据开发 > MaxCompute SQL节点中查询Hologres外表的数据。