DataWorks数据治理中心的使用分析页面,便于数据开发者及管理者查看和分析个人或工作空间内的表、任务的运行状态、资源占用情况,为合理使用整体资源做辅助判断。本文为您介绍如何查看资源使用概况、DataWorks消费和任务运行情况,以及MaxCompute表的数量及存储情况。

背景信息

使用分析功能支持查看资源使用分析DataWorksMaxCompute页面,其中:
  • 资源使用分析:用于查看个人或工作空间的资源使用概况。
  • DataWorks:用于查看DataWorks整体消费和任务运行情况。
  • MaxCompute:用于查看MaxCompute表的数量及存储情况。

使用限制

使用分析功能支持查看资源使用分析DataWorksMaxCompute页面,其中:
  • 资源使用分析页面:
    • 仅工作空间管理员可查看工作空间资源明细。如果您需要查看工作空间资源明细,则可以授权用户为目标工作空间的管理员,详情请参见成员及角色管理
    • 仅支持查看MaxCompute数据表的资源占用情况、MaxCompute任务和数据集成任务的任务运行及资源占用情况。
  • DataWorks页面:仅支持查看MaxCompute和数据集成两种任务的任务数量、运行状态、类型分布情况。
  • MaxCompute页面:仅支持查看MaxCompute表的数量及存储情况。

进入使用分析

  1. 进入数据治理。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
    4. 单击顶部菜单栏左侧的图标图标,选择全部产品 > 数据治理 > 数据综合治理
  2. 单击顶部菜单栏的使用分析,进入使用分析页面。
    在该页面,您可以查看如下信息:

查看资源使用的分析情况

您可根据您的资源优化需求,选择查看个人资源明细或者工作空间明细
  • 个人资源明细页面为您展示当前登录账号名下的表和任务情况。
  • 工作空间明细为您展示当前选择的工作空间下所有表和任务的情况。
    说明 仅工作空间管理员可查看工作空间资源明细。如果您需要查看工作空间资源明细,则可以授权用户为目标工作空间的管理员,详情请参见成员及角色管理
以下为您介绍表和任务的主要资源分析维度,您可进入对应的资源明细列表中查看具体信息。
说明 不同资源分析维度支持的操作存在细微差异,具体操作请以实际界面为准。
  • 业务类型为:表分析表的主要分析维度中:
    • 总存储量:指表一共占用的内存资源数。
    • 每日新增存储量:指查看资源分析结果的前一天,相较于查看资源分析结果的前两天,占用内存资源量新增的量。
    • 表下游数:读取此表的下游表数目。
    • 产出任务:生成此表的任务ID,此项可用于辅助判断此表是否有任务稳定产出数据。
      • 如果产出任务列为空,则说明此表非DataWorks的任务生成的表,这类表可能为临时表或更新需求较少的维度表,通常手动维护即可。
      • 如果产出任务列有数据,说明此表为某个任务生成的表,这类表可能为需要定期更新的表。
    您可根据界面上各维度的分析结果,结合业务情况,规划需对对应表进行的优化操作。例如,对于生命周期很长、存储量占用很大,但是没有下游表、最近访问时间久远、没有产出任务的表,可查看表的详情,如果是无用表,可考虑修改生命周期短一些,或删除无用表。
    资源分析页面为您提供便捷的表优化操作,包括查看详情更改生命周期等。
    说明
    • 生命周期更改后,系统每天会删除该节点中不在生命周期时间段内的数据。详情请参见生命周期
    • 当MaxCompute的非分区表不在生命周期时间内时,整个表均会被删除。
    • 生命周期是从最后一次修改表数据的时间开始计算。
    • 您也可以选择多个MaxCompute表,批量修改表的生命周期。
  • 业务类型为:任务
    说明 任务的资源分析结果均为当前查看日期前一天的运行和资源占用分析结果。
    目前可查看MaxCompute任务和数据集成任务。以查看MaxCompute任务为例,为您展示页面内容:任务示例任务的主要资源分析中:
    • 任务直接下游数:本任务的一级下游任务数目,此项是辅助判断任务上下游依赖的重要分析维度。如果直接下游数不为0,说明有下游任务依赖本任务,需谨慎进行本任务的优化操作,避免对下游任务造成影响。
    • 输出表名:本任务有数据输出到MaxCompute中的表时,此列展示这些表的名称。如果输出表名为空,说明此任务没有数据写入MaxCompute的表中。
    您可根据界面上各维度的分析结果,结合业务情况,规划需对对应任务进行的优化操作。例如,对于任务运行失败、任务直接下游数为0、无输出表、资源消耗大的任务,可查看任务详情,如果是无用任务,可考虑暂停任务节点。
    资源分析页面为您提供便捷的表优化操作,包括查看详情暂停节点
    说明
    • 数据治理中心仅支持对周期任务执行暂停节点操作。
    • 暂停后,该节点将不再自动调度,数据治理中心也不再分析该节点的资源使用情况,后续您可以根据实际情况进行节点的下线、修改等处理。暂停节点,详情请参见查看周期任务,下线节点,详情请参见任务下线

查看DataWorks消费数据及任务情况

您可以在使用分析 > DataWorks页面,查看所有工作空间的整体消费趋势和消费分布情况,任务和实例的数量趋势及运行情况。便于您了解当前花费较多的资源类别、识别运行失败的任务,合理调整消费结构,发现阻塞任务运行的问题并及时处理。DataWorks消费数据及任务运行情况
区域 描述
1 在该区域,您可以选择需要查看任务数量及运行情况的工作空间。
2 该区域为您展示的内容如下:
  • 消费趋势:当前登录账号下所有工作空间(不区分地域)DataWorks的整体消费趋势。
  • 消费分布:当前登录账号下所有工作空间(不区分地域)不同DataWorks版本形态的消费分布情况。
  • 任务数量趋势:查看所选工作空间在目标时间段内的任务数量趋势。
  • 实例数量趋势:查看所选工作空间在目标时间段内的实例数量趋势。
  • 运行状态分布:查看所选工作空间下所有任务的任务状态的分布情况,了解运行失败任务的占比,尽快查找失败原因并处理解决。
  • 任务类型分布:查看所选工作空间当前任务类型的分布情况。

查看MaxCompute表情况

您可以在使用分析 > MaxCompute页面,查看目标工作空间表数量、表存储的趋势及分布情况。您可以基于表数量及存储的分布,调整资源的分配,合理使用资源。MaxCompute表情况
区域 描述
1 在该区域,您可以选择需要查看表数量及存储情况的工作空间。
2
  • 表数量趋势:查看所选工作空间在目标时间段内的开发表、生产表或所有表的数量变化趋势。
  • 表存储分布:查看所选工作空间在目标日期表的存储情况。
  • 表存储趋势:查看所选工作空间在目标时间段内的开发表、生产表或所有表的存储变化趋势。
  • 表数量分布:查看所选工作空间在目标日期表数量的分布情况。