数据目录(新版数据分析)

新版数据分析功能支持将当前登录云账号已加入的MaxCompute项目添加为数据目录,并进行统一管理。添加后,可以方便浏览目录中的数据表,查看表结构,同时支持一键生成SQL查询语句。

认证身份与鉴权说明

若使用RAM用户或RAM角色在数据目录中查看MaxCompute数据,需提前获取MaxCompute相关权限。如果添加的MaxCompute数据源或项目已开启三层模型,则还需为RAM账号或RAM角色授予查看Schema元数据的权限。

说明

MaxCompute项目中包含多个Schema,则需要授予所有Schema的元数据权限,才能在数据目录的项目详情页面查看完整的Schema列表。

  • 授权RAM用户

    GRANT DESCRIBE ON SCHEMA <Schema名> TO USER RAM$<主账号名>:<RAM用户名>;
  • 授权RAM角色

    GRANT DESCRIBE ON SCHEMA <Schema名> TO USER `RAM$<主账号名>:role/<RAM角色名>`;

功能入口

您需要先登录阿里云,然后通过浏览器访问新版数据分析对应地域的页面。请根据您的数据源业务所在地域按需选择。

  1. 进入对应地域的新版数据分析页面。

    华东1(杭州)华东2(上海)华北2(北京)华北3(张家口)华北6(乌兰察布)华南1(深圳)西南1(成都)中国香港日本(东京)新加坡马来西亚(吉隆坡)印度尼西亚(雅加达)德国(法兰克福)英国(伦敦)美国(硅谷)美国(弗吉尼亚)

  2. 在左侧导航栏单击image,进入数据目录:MAXCOMPUTE

添加数据目录

  1. 进入数据目录:MAXCOMPUTE后,单击右侧的image图标,进入添加项目页面。

  2. MaxCompute-项目页签中,找到当前地域需要被添加管理的MaxCompute项目

  3. 单击添加,或批量勾选多个MaxCompute项目后进行批量添加

    说明

    如无需再管理某个MaxCompute数据目录,可在数据目录的列表中右键目标数据目录,在弹框中选择移出目录

数据目录管理

您可以在MaxCompute数据目录中添加和管理Schema、表、视图等数据对象。

说明

MaxCompute需要开启Schema开关,才会在数据目录下展示Schema层级,详情请参见Schema操作

管理Schema

  1. 新建Schema。

    单击MaxCompute项目右侧的image图标,在弹出的创建Schema对话框中输入名称,按Enter键完成创建。

  2. 查看Schema。

    Schema添加到MaxCompute项目后,您可单击MaxCompute项目左侧的image图标,查看已添加的Schema。

  3. 删除Schema。

    如无需再管理某个Schema,可右键单击目标Schema,在弹框中选择删除

    重要
    • 删除后无法恢复,请谨慎操作。

    • 删除Schema前,需先删除Schema内部的表、视图等数据对象。

管理表

新建表

  1. 单击Schema右侧的image > 新建表,进入新建表页面。

  2. 您可通过以下任一方式新建表。

    • Copilot建表

      1. 单击页面上方工具栏中的Copilot建表,进入Copilot Chat功能界面。

      2. 输入建表指令(例如:新建一张商品销售按日汇总表)。

      3. 单击生成并替换,系统会根据您输入的指令,生成默认的表名及字段信息。

      4. 如表名及字段符合预期,您可单击接受

        说明

        如需修改部分表信息,单击接受后,可手动对系统生成的表信息进行编辑。

    • 手动建表

      根据参数说明信息新建表。

      参数

      配置说明

      基础信息

      自定义表名生命周期等信息。

      字段信息

      编辑字段和字段注解信息。

      • 手动编辑:单击字段信息列表上方的插入按钮,手动指定插入行数后,即可编辑字段及其注解信息。

      • Copilot智能编辑:单击字段信息列表上方的生成字段生成字段描述,系统可根据您设置的表名及表说明信息,生成相关字段及注释说明。

      高级设置

      表类型默认为内部表,您可配置聚簇属性信息。

  3. 配置完成后,单击上方工具栏中的发布,完成发布流程即可成功建表。

管理表

  1. 查看表。

    MaxCompute项目创建表后,您可依次单击MaxCompute项目左侧的image图标,单击查看表基本信息,也可单击具体表名查看表字段DDL等详情信息。

  2. 操作表。

    1. 鼠标右键您所需操作的内部表,可选择生成查询SQL申请权限映射MaxCompute元数据至Hologres外表同步MaxCompute数据至Hologres内表

    2. 双击您所需操作的内部表,进入表详情页,可单击右上角的编辑按钮,在表编辑页修改生命周期表说明或新增、修改、删除字段信息。

      重要
      • 在修改字段名、删除字段、修改字段类型之前,需在MaxCompute SQL节点运行以下命令以开启允许表结构变更设置:setproject odps.schema.evolution.enable=true

      • 删除字段时需要选中相应的字段行,然后右键单击选择删除

      • 更新表信息后需重新发布,否则操作将无效。

  3. 删除表。

    右键您所需删除的内部表,在弹框中选择删除

    重要

    删除后无法恢复,请谨慎操作。

管理外表

新建外表

  1. 单击Schema右侧的image > 新建外表,进入新建外表页面。

  2. 您可通过以下任一方式新建外表。

    • Copilot建表

      1. 单击页面上方工具栏中的Copilot建表,进入Copilot Chat功能界面。

      2. 输入建表指令(例如:新建一张商品销售按日汇总表)。

      3. 单击生成并替换,系统会根据您输入的指令,生成默认的表名及字段信息。

      4. 如表名及字段符合预期,您可单击接受

        说明

        如需修改部分表信息,单击接受后,可手动对系统生成的表信息进行编辑。

    • 手动建表

      根据参数说明信息新建外表。

      参数

      配置说明

      基础信息

      自定义表名生命周期等信息。

      字段信息

      编辑字段和字段注解信息。

      • 手动编辑:单击字段信息列表上方的插入按钮,手动指定插入行数后,即可编辑字段及其注解信息。

      • Copilot智能编辑:单击字段信息列表上方的生成字段生成字段描述,系统可根据您设置的表名及表说明信息,生成相关字段及注释说明。

      高级设置

      表类型默认为外部表,您需配置OSS存储位置存储格式信息。

      • 存储位置oss://<OSS Bucket>/

        说明

        可通过存储空间(Bucket)概述获取OSS Bucket名。

      • 存储格式:支持CSV、ORC、TEXTFILE等多种格式。

  3. 配置完成后,单击上方工具栏中的发布,完成发布流程即可成功建表。

管理外表

  1. 查看外表。

    MaxCompute项目创建外部表后,您可依次单击MaxCompute项目左侧的image图标,单击外表查看外部表基本信息,也可单击具体表名查看外部表字段DDL等详情信息。

  2. 操作外表。

    双击您所需操作的外部表,进入表详情页,可单击右上角的编辑按钮,在表编辑页修改生命周期表说明或新增、修改、删除字段信息。

    重要
    • 在修改字段名、删除字段、修改字段类型之前,需在MaxCompute SQL节点运行以下命令以开启允许表结构变更设置:setproject odps.schema.evolution.enable=true

    • 删除字段时需要选中相应的字段行,然后右键单击选择删除

    • 更新表信息后需重新发布,否则操作将无效。

  3. 删除外表。

    鼠标右键您所需删除的外部表,在弹框中选择删除

管理对象表

仅支持开启Schema开关MaxCompute项目管理对象表信息。

管理对象表

  1. 查看对象表。

    MaxCompute项目创建OBJECT TABLE后,您可依次单击MaxCompute项目左侧的image图标,单击对象表查看对象表基本信息,也可单击具体表名查看对象表字段DDL等详情信息。

  2. 操作对象表。

    鼠标右键您所需操作的对象表,可选择生成查询SQL申请权限映射MaxCompute元数据至Hologres外表同步MaxCompute数据至Hologres内表

  3. 删除对象表。

    鼠标右键您所需删除的对象表,在弹框中选择删除

    重要

    删除后无法恢复,请谨慎操作。

管理视图

新建视图

  1. 单击Schema右侧的image > 新建视图,进入新建视图页面。

  2. 参考创建或更新视图的命令,修改view_name为您所需创建的视图名称,在AS关键字后补充视图的数据来源查询语句。

  3. 单击上方发布,即可新建视图。

管理视图

  1. 查看视图。

    MaxCompute项目创建视图后,您可依次单击MaxCompute项目左侧的image图标,单击视图查看视图基本信息,也可单击具体视图名查看视图字段DDL等详情信息。

  2. 操作视图。

    双击您所需操作的视图,进入视图详情页,单击右上角的编辑按钮,在视图编辑页可通过修改AS关键字后的数据来源查询语句来修改视图。

  3. 删除视图。

    鼠标右键您所需删除的视图,在弹框中选择删除

管理物化视图

新建物化视图

  1. 单击Schema右侧的image > 新建物化视图,进入新建物化视图页面。

  2. 参考创建物化视图的命令,修改view_name为您所需创建的物化视图名称,在AS语句后补充物化视图的数据来源查询语句。

  3. 单击上方发布,即可新建物化视图。

管理物化视图

  1. 查看物化视图。

    MaxCompute项目创建物化视图后,您可依次单击MaxCompute项目左侧的image图标,单击物化视图查看物化视图基本信息,也可单击具体物化视图名查看物化视图字段DDL等详情信息。

  2. 删除物化视图。

    鼠标右键您所需删除的物化视图,在弹框中选择删除

管理资源数据对象

管理资源

DataWorks资源管理创建资源后,您可依次单击MaxCompute项目左侧的image图标,单击资源查看资源基本信息,也可单击具体资源名查看资源存储大小等相关信息。

管理函数

DataWorks资源管理创建函数后,您可依次单击MaxCompute项目左侧的image图标,单击函数查看函数基本信息,也可单击具体函数名查看函数存储大小等相关信息。

生成查询SQL

您可以基于已创建或现有的数据表,快速生成查询SQL并完成配置与执行。如需了解更多操作可参见新建SQL查询

  1. 在数据目录的列表中找到目标MaxCompute项目,依次单击左侧的image图标,从列表中定位到您需要查询的目标表。

  2. 右键单击目标表,选择生成查询SQL

  3. 您可在生成的SQL编辑页面对生成的查询SQL脚本进行调整。

  4. 调整完成后可单击SQL编辑页右侧的运行配置,设置计算资源脚本参数等信息,然后执行查询语句。