文档

DataWorks支持MaxCompute Schema

更新时间:

MaxCompute新增Schema功能后,DataWorks各模块涉及MaxCompute表、资源、函数等相关功能的使用逻辑也根据MaxCompute Schema进行了相应调整。本文为您介绍DataWorks各模块对MaxCompute Schema能力的支持情况。

背景信息

MaxCompute新增了Schema功能后,由原有的两层模型结构(project_name.table_name)变更为包含Schema的三层模型结构(project_default.schema_default.table_name),Schema用于在MaxCompute的项目下对Table、Resource、Function等进行归类,详情请参见Schema操作

注意事项

存量租户从MaxCompute两层结构升级至三层结构的场景,注意事项如下:

  • 仅当租户级别开启Schema功能(即MaxCompute项目的odps.namespace.schema配置为true)时,DataWorks才支持展示Schema相关交互。

    说明

    若只有某些项目存储使用了自定义的Schema,而租户级别odps.namespace.schema配置为false,由于DataWorks不支持使用自定义Schema,因此该场景DataWorks无法展示Schema相关交互。

  • 按照MaxCompute解析规则,原有代码中格式为project.table的路径可能默认被解析为project_default.project.table,导致找不到表路径而报错。

  • DataStudio中通过自动解析功能得出的依赖关系保持不变。

开启MaxCompute Schema

您可根据业务需求选择是否需要开启MaxCompute Schema,具体如下表。

业务场景

开启操作

说明

任务、MaxCompute资源较少的租户

  • MaxCompute提交工单申请开启MaxCompute Schema(即odps.namespace.schema=true)。

  • DataWorks:原有的两层模型交互界面随MaxCompute Schema的开启而切换为三层界面,且不可回退。

MaxCompute Schema为租户级别开启,开启后该租户下的所有地域均使用包含Schema的三层模型,且不可关闭。

任务、MaxCompute资源较多的租户

不支持开启MaxCompute Schema(即odps.namespace.schema=false)。

不涉及

DataWorks各模块对MaxCompute Schema支持情况

若您的MaxCompute项目已开启Schema功能,则DataWorks控制台的大部分操作均需指定Schema。开启MaxCompute Schema后,DataWorks各模块对Schema的支持情况如下表。

模块

MaxCompute Schema支持情况

DataStudio

DataStudio界面操作的变化如下:

  • 基础操作

    • 在进行表、资源、函数相关操作时,需指定Schema。

    • 支持在表管理、公共表页面,按照MaxCompute引擎实例、Schema查看表。

    • 导入表时,展示表所属的Schema。

  • 依赖关系设置

    包含Schema的三层模型与二层模型的自动解析规则存在一定差异,详情请参见MaxCompute Schema的自动解析规则

数据开发界面配置

智能数据建模

维度建模中执行如下操作时支持指定Schema:

  • 查找已有表或冗余表。

  • 模型发布至MaxCompute引擎。

  • 进行逆向建模。

维度建模支持选择Schema

数据集成

离线同步、实时同步、同步解决方案选择源表及目标表时支持选择Schema。同时,支持在配置同步任务过程中新建Schema。数据集成同步任务支持选择Schema

数据地图

数据地图页面将按照schema.table进行展示。

说明

暂不支持通过Schema搜索目标表。

数据地图展示Schema

数据质量

  • 数据质量页面将按照schema.table进行展示。

  • 使用自定义SQL创建数据质量规则时,需按照schema.tablename方式指定表。

说明

暂不支持通过Schema搜索目标表。

数据质量

安全中心

支持按照schema.table方式展示及筛选目标表。例如,权限申请页面表信息展示。安全中心展示Schema

审批中心

支持按照schema.table方式展示及筛选目标表。例如,审批详情页面计算引擎信息。审批中心展示Schema

数据服务

涉及MaxCompute表的页面支持展示及筛选Schema。例如,编写查询SQL。数据服务展示Schema

数据分析

涉及MaxCompute表的页面支持展示及筛选Schema。例如,SQL查询的目录树、SQL编辑器。数据分析展示Schema

数据保护伞

涉及MaxCompute表的页面支持展示及筛选Schema。例如,敏感数据识别、动静态数据脱敏等。数据保护伞展示Schema

MaxCompute Schema的自动解析规则

在包含Schema的三层模型下,使用自动解析时系统会将代码中的表补全为odps_project.schema.table格式,如果schema=default,则会隐藏该Schema,具体如下表。

Schema类型

odps_project.schema.table生态语法

自动解析结果

default

project.default.table

default.table

odps_project.table

非default(示例为自定义的schemaA

project.schemaA.table

schemaA.table

odps_project.schemaA.table

说明

自动解析功能的原理介绍,详情请参见调度依赖配置指引