DLF+OSS外部Schema

步骤一：开通并授权

1. 开通DLF数据湖构建

2. 开通OSS服务

3. 授权

   通过MaxCompute与DLF和OSS构建湖仓一体时，由于MaxCompute项目的账号未经授权无法访问DLF或OSS，需要先执行授权操作。授权方式包含以下两种：

   • 一键授权：当创建MaxCompute项目的账号和部署DLF、OSS的账号相同时。推荐您直接单击授权DLF和OSS进行一键授权。

   • 自定义授权：当创建MaxCompute项目的账号和部署DLF、OSS的账号相同或不相同，都可以使用该方式。详情请参见自定义授权DLF。

步骤二：创建DLF+OSS外部数据源

1. 登录MaxCompute控制台，在左上角选择地域。

2. 在左侧导航栏，选择管理配置 > 外部数据源 。

3. 在外部数据源页面，单击创建外部数据源。

4. 在弹出的新增外部数据源对话框，根据界面提示配置相关参数。参数说明如下：

   参数	是否必填	说明
   外部数据源类型	必填	选择DLF+OSS。
   外部数据源名称	必填	可自定义命名。命名规则如下： 以字母开头，且只能包含小写字母、下划线和数字。 不能超过128个字符。 例如dlf_oss_schema。
   外部数据源描述	选填	根据需要填写。
   地域	必填	默认为当前地域。
   DLF Endpoint	必填	默认为当前地域的DLF Endpoint。
   OSS Endpoint	必填	默认为当前地域的OSS Endpoint。
   RoleARN	必填	RAM角色的ARN信息。此角色需要包含能够同时访问DLF和OSS服务的权限。 登录RAM控制台。 在左侧导航栏选择身份管理 > 角色。 在基础信息区域，可以获取ARN信息。 示例：acs:ram::124****:role/aliyunodpsdefaultrole。
   外部数据源补充属性	选填	特殊声明的外部数据源补充属性。指定后，使用此外部数据源的任务可以按照参数定义的行为访问源系统。 说明 支持的具体参数请关注后续官网文档更新说明，具体参数将随产品能力演进逐步放开。

5. 单击确认，完成外部数据源的创建。

步骤三：创建DLF数据目录及数据库

1. 创建DLF数据目录

   1. 登录数据湖构建（DLF）控制台，在左上角选择地域。

   2. 在左侧导航栏，选择元数据 > 元数据管理。

   3. 在元数据管理页面，单击数据目录页签。

   4. 在新建数据目录页面，自定义目录ID，目录路径填写OSS Bugket目录。

      1. 目录ID示例为external_schema_dlf_catalog

      2. 目录路径示例为oss://external-schema/dlf-oss

2. 创建数据库

   1. 在元数据管理页面，单击数据库页签。

   2. 在新建的数据目录下单击新建数据库。配置如下参数：

      参数	是否必填	说明
      所属数据目录	必填	示例为external_schema_dlf_catalog。
      数据库名称：	必填	自定义数据库名称，以字母开头，长度为1-128位，允许字符为a-z、A-Z、0-9_，例如dlf_oss_db。
      数据库描述：	选填	自定义描述。
      选择路径：	必填	数据库存储位置，例如oss://external-schema/dlf-oss/database。

步骤四：创建外部Schema

1. 外部Schema操作需要在MaxCompute内部项目中执行，因此要求该内部项目必须已启用支持Schema层级开关

   1. 在左侧导航栏，选择管理配置 > 项目管理。

   2. 在项目管理页面，单击目标项目操作列的升级到支持Schema层级。

2. 需要在执行Schema操作或查询External Schema的数据前，开启SQL语法支持的Schema开关，即在SQL前增加SET odps.namespace.schema=true;语句。

3. 在MaxCompute客户端中，使用如下命令创建引用了DLF+OSS类型外部数据源的外部Schema：

   CREATE EXTERNAL SCHEMA IF NOT EXISTS <external_schema_name>
   with <dlfoss_foreign_server_name>
   ON '<dlf_calaog_id>.<database_name>';

   参数说明如下：

   • external_schema_name：外部Schema名称，例如test_schema。

   • dlfoss_foreign_server_name：上述已创建的外部数据源名称，外部Schema归属的项目必须与外部数据源处于同一地域，示例为dlf_oss_schema。

   • dlf_calaog_id：DLF数据目录ID，示例为external_schema_dlf_catalog

   • database_name：DLF中指定数据目录下的数据库名称，示例为dlf_oss_db。

步骤五：使用SQL访问数据源系统

创建的外部Schema支持查看Schema列表、查看Schema信息及删除Schema，其命令及使用方法与内部Schema相同。详情请参见Schema操作。

• 列出DLF和OSS的表名称

  • 方式1：

    SHOW tables IN <external_schema_name>; --external_schema_name为外部Schema名称。

  • 方式2：

    USE SCHEMA <external_schema_name>; --external_schema_name为外部Schema名称。
    SHOW tables;

• 使用示例

  • 查询名称为test_schema的外部Schema下的所有表名。

    USE SCHEMA test_schema;
    SHOW TABLES;

    返回结果示例：

    ALIYUN$xxx@test.aliyunid.com:hellocsv
    ALIYUN$xxx@test.aliyunid.com:t1
    ALIYUN$xxx@test.aliyunid.com:t2
    ALIYUN$xxx@test.aliyunid.com:t3

  • 查询test_project项目中test_schemaSchema的hellocsv表数据。

    SELECT * FROM test_project.test_schema.hellocsv;

  • 从数据源将联邦外表hellocsv的数据复制入数仓。

    MaxCompute不允许对来自外部Schema执行CREATE TABLE AS 操作，因此需要将Schema切换为Default，再执行如下语句：

    -- 将联邦外表的数据复制到数仓中
    CREATE TABLE hellocsv_copy AS SELECT * FROM test_project.test_schema.hellocsv;
    
    -- 查询数仓中已复制的表数据
    SELECT * FROM hellocsv_copy;