MaxCompute数据管理

数据目录提供统一界面,方便管理和操作MaxCompute元数据。本文将为您介绍如何在数据目录中创建和管理表、视图、外表、资源及函数等数据对象。

使用限制

若使用RAM用户或RAM角色在数据目录中查看MaxCompute数据,需提前获取MaxCompute相关权限。如果添加的MaxCompute数据源或项目已开启三层模型,则还需为RAM账号或RAM角色授予查看Schema元数据的权限。

说明

MaxCompute项目中包含多个Schema,则需要授予所有Schema的元数据权限,才能在数据目录的项目详情页面查看完整的Schema列表。

  • 授权RAM用户

    GRANT DESCRIBE ON SCHEMA <Schema名> TO USER RAM$<主账号名>:<RAM用户名>;
  • 授权RAM角色

    GRANT DESCRIBE ON SCHEMA <Schema名> TO USER `RAM$<主账号名>:role/<RAM角色名>`;
  • MaxCompute项目开启Schema开关后,才能管理Schema管理对象表

进入MaxCompute数据目录页面

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > Data Studio,进入Data Studio。

  2. 单击左侧导航栏中的image图标,在数据目录的目录树中单击MaxCompute,即可进入MaxCompute数据目录管理页面。

创建MaxCompute数据目录

MaxCompute数据目录管理页面,您可将已有的MaxCompute项目作为数据集添加到数据目录列表。

  1. 单击MaxCompute数据目录右侧的image

  2. 选择以下任一方式添加MaxCompute项目。

    目标源

    添加方式

    当前工作空间中创建的MaxCompute数据源

    DataWorks数据源页签中找到目标数据源,单击添加或批量勾选多个MaxCompute数据源后单击批量添加

    MaxCompute控制台创建的MaxCompute项目

    MaxCompute-项目页签中找到目标项目,单击添加或批量勾选多个MaxCompute项目后单击批量添加。也可单击新建项目,手动新增MaxCompute项目。

    内部项目配置项请参见MaxCompute项目配置参数详解,外部项目操作请参见MaxCompute湖仓一体
    重要

    因元数据同步存在 10-20 秒延迟,创建项目成功后,请稍后手动刷新查看最新列表。

管理MaxCompute数据目录

支持在MaxCompute数据目录中添加和管理Schema、表、视图等数据对象。

MaxCompute对象

查看

创建

Schema

支持

支持

内表

支持

支持

外表

支持

支持

对象表

支持

支持

视图

支持

支持

物化视图

支持

支持

动态物化视图

支持

支持

资源

支持

不支持

函数

支持

不支持

说明

MaxCompute需要开启Schema开关,才会在数据目录下展示Schema层级,详情请参见Schema操作

管理Schema

  1. 新建Schema。

    单击MaxCompute项目右侧的image图标,在弹出的创建Schema对话框中输入名称,按Enter键完成创建。

  2. 查看Schema。

    Schema添加到MaxCompute项目后,您可单击MaxCompute项目左侧的image图标,查看已添加的Schema。

  3. 删除Schema。

    如无需再管理某个Schema,可右键单击目标Schema,在弹框中选择删除

    重要
    • 删除后无法恢复,请谨慎操作。

    • 删除Schema前,需先删除Schema内部的表、视图等数据对象。

管理表

新建表

  1. 单击Schema右侧的image > 新建表,进入新建表页面。

  2. 您可通过以下任一方式新建表。

    • Copilot建表

      1. 单击页面上方工具栏中的Copilot建表,进入Copilot Chat功能界面。

      2. 输入建表指令(例如:新建一张商品销售按日汇总表)。

      3. 单击生成并替换,系统会根据您输入的指令,生成默认的表名及字段信息。

      4. 如表名及字段符合预期,您可单击接受

        说明

        如需修改部分表信息,单击接受后,可手动对系统生成的表信息进行编辑。

    • 手动建表

      根据参数说明信息新建表。

      参数

      配置说明

      基础信息

      自定义表名生命周期等信息。

      字段信息

      编辑字段和字段注解信息。

      • 手动编辑:单击字段信息列表上方的插入按钮,手动指定插入行数后,即可编辑字段及其注解信息。

      • Copilot智能编辑:单击字段信息列表上方的生成字段生成字段描述,系统可根据您设置的表名及表说明信息,生成相关字段及注释说明。

      高级设置

      表类型默认为内部表,您可配置聚簇属性信息。

  3. 配置完成后,单击上方工具栏中的发布,完成发布流程即可成功建表。

管理表

  1. 查看表。

    MaxCompute项目创建表后,您可依次单击MaxCompute项目左侧的image图标,单击查看表基本信息,也可单击具体表名查看表字段DDL等详情信息。

  2. 操作表。

    1. 鼠标右键您所需操作的内部表,可选择生成查询SQL导入数据申请权限映射MaxCompute元数据至Hologres外表同步MaxCompute数据至Hologres内表

    2. 双击您所需操作的内部表,进入表详情页,可单击右上角的编辑按钮,在表编辑页修改生命周期表说明或新增、修改、删除字段信息。

      重要
      • 在修改字段名、删除字段、修改字段类型之前,需在MaxCompute SQL节点运行以下命令以开启允许表结构变更设置:setproject odps.schema.evolution.enable=true

      • 删除字段时需要选中相应的字段行,然后右键单击选择删除

      • 更新表信息后需重新发布,否则操作将无效。

  3. 删除表。

    右键您所需删除的内部表,在弹窗中选择删除

    重要

    删除后无法恢复,请谨慎操作。

管理外表

新建外表

  1. 单击Schema右侧的image > 新建外表,进入新建外表页面。

  2. 您可通过以下任一方式新建外表。

    • Copilot建表

      1. 单击页面上方工具栏中的Copilot建表,进入Copilot Chat功能界面。

      2. 输入建表指令(例如:新建一张商品销售按日汇总表)。

      3. 单击生成并替换,系统会根据您输入的指令,生成默认的表名及字段信息。

      4. 如表名及字段符合预期,您可单击接受

        说明

        如需修改部分表信息,单击接受后,可手动对系统生成的表信息进行编辑。

    • 手动建表

      根据参数说明信息新建外表。

      参数

      配置说明

      基础信息

      自定义表名生命周期等信息。

      字段信息

      编辑字段和字段注解信息。

      • 手动编辑:单击字段信息列表上方的插入按钮,手动指定插入行数后,即可编辑字段及其注解信息。

      • Copilot智能编辑:单击字段信息列表上方的生成字段生成字段描述,系统可根据您设置的表名及表说明信息,生成相关字段及注释说明。

      高级设置

      表类型默认为外部表,您需配置OSS存储位置存储格式信息。

      • 存储位置oss://<OSS Bucket>/

        说明

        可通过存储空间(Bucket)概述获取OSS Bucket名。

      • 存储格式:支持CSV、ORC、TEXTFILE等多种格式。

  3. 配置完成后,单击上方工具栏中的发布,完成发布流程即可成功建表。

管理外表

  1. 查看外表。

    MaxCompute项目创建外部表后,您可依次单击MaxCompute项目左侧的image图标,单击外表查看外部表基本信息,也可单击具体表名查看外部表字段DDL等详情信息。

  2. 操作外表。

    双击您所需操作的外部表,进入表详情页,可单击右上角的编辑按钮,在表编辑页修改生命周期表说明或新增、修改、删除字段信息。

    重要
    • 在修改字段名、删除字段、修改字段类型之前,需在MaxCompute SQL节点运行以下命令以开启允许表结构变更设置:setproject odps.schema.evolution.enable=true

    • 删除字段时需要选中相应的字段行,然后右键单击选择删除

    • 更新表信息后需重新发布,否则操作将无效。

  3. 删除外表。

    鼠标右键您所需删除的外部表,在弹窗中选择删除

管理对象表

仅支持开启Schema开关MaxCompute项目管理对象表信息。

管理对象表

  1. 查看对象表。

    MaxCompute项目创建OBJECT TABLE后,您可依次单击MaxCompute项目左侧的image图标,单击对象表查看对象表基本信息,也可单击具体表名查看对象表字段DDL等详情信息。

  2. 操作对象表。

    鼠标右键您所需操作的对象表,可选择生成查询SQL申请权限映射MaxCompute元数据至Hologres外表同步MaxCompute数据至Hologres内表

  3. 删除对象表。

    鼠标右键您所需删除的对象表,在弹窗中选择删除

    重要

    删除后无法恢复,请谨慎操作。

管理视图

新建视图

  1. 单击Schema右侧的image > 新建视图,进入新建视图页面。

  2. 参考创建或更新视图的命令,修改view_name为您所需创建的视图名称,在AS关键字后补充视图的数据来源查询语句。

  3. 单击上方发布,即可新建视图。

管理视图

  1. 查看视图。

    MaxCompute项目创建视图后,您可依次单击MaxCompute项目左侧的image图标,单击视图查看视图基本信息,也可单击具体视图名查看视图字段DDL等详情信息。

  2. 操作视图。

    双击您所需操作的视图,进入视图详情页,单击右上角的编辑按钮,在视图编辑页可通过修改AS关键字后的数据来源查询语句来修改视图。

  3. 删除视图。

    鼠标右键您所需删除的视图,在弹框中选择删除

管理物化视图

新建物化视图

  1. 单击Schema右侧的image > 新建物化视图,进入新建物化视图页面。

  2. 参考创建物化视图的命令,修改view_name为您所需创建的物化视图名称,在AS语句后补充物化视图的数据来源查询语句。

  3. 单击上方发布,即可新建物化视图。

管理物化视图

  1. 查看物化视图。

    MaxCompute项目创建物化视图后,您可依次单击MaxCompute项目左侧的image图标,单击物化视图查看物化视图基本信息,也可单击具体物化视图名查看物化视图字段DDL等详情信息。

  2. 删除物化视图。

    鼠标右键您所需删除的物化视图,在弹框中选择删除

管理动态物化视图

新建动态物化视图

  1. 单击Schema右侧的image > 新建动态物化视图,进入新建动态物化视图页面。关键配置信息如下:

    参数

    描述

    数据生成SQL

    参考动态物化视图的命令,填写数据生成SQL。单击预编译按钮,可以对输入SQL进行语法检查。

    重要

    非分区表,必须有主键。

    字段详情

    预编译成功后,解析的字段详情。

    主键字段信息

    数据生成SQL预编译之后,系统会读取到可作为主键的字段,并显示在主键字段的下拉列表中。主键字段可多选。

    分区字段信息

    数据生成SQL预编译之后,分区字段会读取到可分区的字段,并显示在分区字段的下拉列表中,用户可以选择分区字段来决定是否对动态物化视图进行分区。分区字段可多选。

    调优参数

    用户可以配置多个参数键值对,此键值对需要生成至DDL的表属性TBLPROPERTIES中。

    数据刷新策略

    • 非分区动态物化视图刷新配置:当左侧分区字段信息不指定分区字段,即不生成分区的动态物化视图。

      • 针对MaxCompute的动态物化视图,用户无需选择刷新模式,即刷新模式固定默认设置为增量刷新,表属性为 TBLPROPERTIES("refresh_mode"="incremental")。

      • 支持刷新调度方式为MaxCompute自动刷新Dataworks周期调度方式。

    • 分区动态物化视图刷新配置:当左侧分区字段信息指定分区字段,即生成分区的动态物化视图。

      • 分区刷新:支持设置刷新调度方式、是否自动刷新数据、调度周期、刷新持续时间等。

      • 回刷分区数据:支持是否回刷结束刷新的分区数据。

  2. 单击上方发布,即可新建动态物化视图。

管理动态物化视图

  1. 发布至开发/生产:对于标准模式工作空间,支持将对象发布至另一个环境。

  2. 查看动态物化视图。

    MaxCompute项目创建动态物化视图后,您可依次单击MaxCompute项目左侧的image图标,单击动态物化视图查看基本信息,也可单击具体名查看字段DDL等详情信息。

  3. 删除动态物化视图。

    鼠标右键您所需删除的动态物化视图,在弹框中选择删除

管理资源数据对象

管理资源

DataWorks资源管理创建资源后,您可依次单击MaxCompute项目左侧的image图标,单击资源查看资源基本信息,也可单击具体资源名查看资源存储大小等相关信息。

管理函数

DataWorks资源管理创建函数后,您可依次单击MaxCompute项目左侧的image图标,单击函数查看函数基本信息,也可单击具体函数名查看函数存储大小等相关信息。

查看移除MaxCompute数据目录

如需后续无需使用MaxCompute数据目录,可查看移除对应MaxCompute数据目录。

  1. 查看项目。

    1. 将项目添加到MaxCompute数据目录后,您可单击MaxCompute数据目录左侧的image图标,查看已添加的MaxCompute项目。

    2. 将鼠标悬浮在对应的MaxCompute项目上,即可查看该项目的已用存储等相关信息。

  2. 移除项目。

    如无需再管理某个MaxCompute项目,可右键目标项目,在弹框中选择移除