DataWorks访问DLF

如何在阿里云DataWorks数据集成服务通过Paimon REST将数据导入至DLF Catalog。

前提条件

已创建DataWorks工作空间。如未创建,详情请参见创建工作空间

创建DLF Catalog

详情请参见DLF 快速入门

创建数据源

  1. 进入数据源页面。

    1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

    2. 进入工作空间管理中心页面后,单击左侧导航栏的数据源,进入数据源页面。

  1. 单击新增数据源按钮,搜索并选择Data Lake Formation,来创建数据源,可参考以下表格内容:

    参数

    说明

    数据源名称

    可自定义数据源名称。数据源名称在工作空间内唯一;必须以字母数字下划线组合,且不能以数字和下划线开头。

    配置模式

    仅支持阿里云实例模式

    访问身份

    可选择如下内容:

    • 阿里云主账号

    • 阿里云RAM子账号

    • 阿里云RAM角色

    可按需求进行选择。

    说明

    若访问身份选择了RAM子账号RAM角色,则需对子账号或角色授予以下权限。

    DLF数据目录(Catalog)

    选择DataWorks同地域下的DLF数据目录

    数据库名称

    选择数据目录下的数据库。

    以上内容配置完成后,需在连接配置模块测试该数据源与Serverless资源组的连通性,若连通性测试为可连通,即可单击完成编辑,完成该数据源的创建。若连通性测试失败,则需参考网络连通配置进行排查。

创建数据集成任务

DataWorks的数据集成中,支持使用Data Lake Formation 数据源,详情可参见:同步数据至Data Lake Formation