透视分析

更新时间: 2023-08-16 09:43:29

使用透视功能便于数据开发者及管理者查看和分析工作空间内的表、任务的运行状态、资源占用情况,为合理使用整体资源做辅助判断。本文为您介绍如何查看DataWorks消费和任务运行情况、MaxCompute表的数量及存储情况、资源使用概况、资源使用明细。

背景信息

使用分析功能支持查看DataWorksMaxCompute资源使用概览资源使用明细页面,其中:

使用限制

  • 仅阿里云主账号和拥有AliyunDataWorksFullAccess权限的子账号可以选择任意工作空间,其它账号只能选择其作为管理员的工作空间。

  • 仅支持查看MaxCompute数据表数量、表存储的分布和趋势,MaxCompute任务运行及资源占用情况。

  • 后付费场景下,本页面相关信息仅提供粗略的计算费用预估,可能会跟账单中心实际出账存在细微口径差异性,实际收费以账单为准。

进入使用透视

  1. 进入数据治理中心。

    1. 登录DataWorks控制台

    2. 在左侧导航栏,单击工作空间列表

    3. 选择工作空间所在地域后,单击相应工作空间后的数据开发

    4. 单击顶部菜单栏左侧的图标图标,选择全部产品 > 数据治理 > 数据治理中心

  2. 单击顶部菜单栏的使用分析,进入使用分析页面。

  3. 在左侧使用透视区域查看DataWorksMaxCompute资源使用概览资源使用明细页面。

查看DataWorks消费数据及任务情况

您可以在使用分析 > DataWorks页面,查看所有工作空间的整体消费趋势和消费分布情况、任务和实例的数量趋势及运行情况、任务运行并发数的趋势情况。便于您了解当前花费较多的资源类别、识别运行失败的任务,合理调整消费结构,发现阻塞任务运行的问题并及时处理。数据治理中心-使用透视数据治理中心-透视视角

区域

描述

在该区域,您可以选择需要查看任务数量及运行情况的工作空间。

该区域为您展示的内容如下:

  • 消费趋势:当前登录账号下所有工作空间(不区分地域)DataWorks的整体消费趋势。

  • 消费分布:当前登录账号下所有工作空间(不区分地域)不同DataWorks版本形态的消费分布情况。

  • 运行状态分布:查看所选工作空间下所有任务的任务状态的分布情况,了解运行失败任务的占比,尽快查找失败原因并处理解决。

  • 任务类型分布:查看所选工作空间当前任务类型的分布情况。

  • 任务数量趋势:查看所选工作空间当前任务数量的变化趋势,支持根据任务调度使用的资源组类型进行分类查看。支持查看7天内使用趋势,您最短可选择一次查看一天,最长可以选择一次查看3天。

  • 实例数量趋势:查看所选工作空间当前实例数量的变化趋势,支持根据任务调度使用的资源组类型进行分类查看。支持查看7天内使用趋势,您最短可选择一次查看一天,最长可以选择一次查看3天。

  • 任务运行并发数趋势:查看所选工作空间当前任务运行并发的变化趋势,支持查看调度任务并发总数,离线同步任务并发总数及各类型资源组在具体时间点的并发变化趋势。时间区间只支持选择一天的数据,您可以选择7天中任意一天。

查看MaxCompute表及任务情况

您可以在使用分析 > MaxCompute页面,查看目标工作空间表数量、表存储的趋势及分布情况,资源使用趋势及作业数量趋势情况。您可以基于表数量及存储的分布,调整资源的分配,合理使用资源。数据治理中心-透视视角数据治理-maxcompute

区域

描述

在该区域,您可以选择需要查看表数量及存储情况的工作空间。

  • 表数量趋势:查看所选工作空间在目标时间段内的开发表、生产表或所有表的数量变化趋势。

  • 表存储分布:查看所选工作空间在目标日期表的存储情况。

  • 表存储趋势:查看所选工作空间在目标时间段内的开发表、生产表或所有表的存储变化趋势。

  • 表数量分布:查看所选工作空间在目标日期表数量的分布情况。

  • 资源使用趋势:查看所选工作空间在目标日期资源使用趋势。支持根据MaxCompute项目配额组进行查看。预付费场景下,支持您查看CU消耗CPU消耗内存消耗。后付费场景下,支持您查看计算量变化趋势。支持查看7天内使用趋势,您最短可选择一次查看一天,最长可以选择一次查看3天。

  • 作业数量趋势:查看所选工作空间在目标日期作业数量趋势。支持您根据MaxCompute项目查看各类型任务量变化趋势。支持查看7天内使用趋势,您最短可选择一次查看一天,最长可以选择一次查看3天。

查看资源使用概览

资源使用概览页面为您展示指定业务时间和工作空间内DataWorks与MaxCompute相关资源使用概要、资源使用排行及异动分析详情。

说明

仅阿里云主账号和拥有AliyunDataWorksFullAccess权限的子账号可以选择任意工作空间,其它账号只能选择其作为管理员的工作空间。

数据治理-透视视角

区域

描述

在该区域,您可以选择需要查看资源使用情况的日期工作空间

该区域为您展示具体业务日期内DataWorks(调度实例总数、离线同步实例总数)与MaxCompute(包年包月的计算资源、按量付费的计算资源、存储大小)相关资源总数及变化趋势。

说明

:在已进行相关治理的情况下,您可通过查看趋势,获取当前治理成效。

此区域为您展示异动分析资源排行

  • 异动分析异动分析页签为您展示MaxCompute计算消耗MaxCompute存储消耗DataWorks调度消耗DataWorks离线同步消耗维度资源异动详情。您可以单击前往查看明细进入查看资源使用明细查看详情。

    • 支持通过自定义列,自定义列表显示详情。

    • 支持您通过负责人节点ID节点名称源端类型节点类型工作空间等筛选条件过滤出需要查看的资源异动详情列表。

    • 还支持您单击关键指标列旁的排序按钮对结果进行排序。

  • 资源排行资源排行页签下为您展示DataWorks调度实例数DataWorks同步实例MaxCompute计算资源MaxCompute存储资源维度的资源使用排行榜。您可以单击查看明细进入查看资源使用明细查看详情。

查看资源使用明细

资源使用明细为您展示指定业务时间段(时间范围最多支持7天)和工作空间内MaxCompute计算消耗MaxCompute存储消耗DataWorks调度消耗DataWorks离线同步消耗维度资源消耗详情。

  • 支持通过自定义列,自定义列表显示详情。

  • 支持您通过节点ID节点名称节点负责人源端类型节点类型等筛选条件过滤出需要查看的资源异动详情列表。

  • 还支持您单击关键指标列旁的排序按钮对结果进行排序。

说明

仅阿里云主账号和拥有AliyunDataWorksFullAccess权限的子账号可以选择任意工作空间,其它账号只能选择其作为管理员的工作空间。

数据治理-使用分析-资源使用明细

区域

描述

在该区域,您可以选择需要查看资源使用情况的日期工作空间

在该区域您可以查看各维度资源消耗情况。

  • MaxCompute计算消耗:查看所选工作空间在目标时间段内的计算资源消耗情况。以MaxCompute 实例为维度提供计算量、执行耗时、及相关波动率,提供费用预估、单个任务CPU消耗量、内存消耗、计算量、计算复杂度、任务执行时长、任务执行环境(开发、生产)、任务类型(周期实例、补数据实例等)关联的DataWorks任务等多维度信息。

  • MaxCompute存储消耗:查看所选工作空间在目标时间段内的存储资源耗情况。以MaxCompute表为维度展示表存储大小、生命周期、分区个数、负责人等多维度信息。

  • DataWorks调度消耗:查看所选工作空间在目标时间段内的调度资源消耗情况。以DataWorks任务为维度、展示该任务7天内等待耗时与运行耗时,及其7天内波动率,节点负责人,该任务运行耗时、等待资源耗时、调度使用资源组、任务执行环境(开发、生产)、任务类型(周期实例、补数据实例等)等多维度信息。

  • DataWorks离线同步消耗:查看所选工作空间在目标时间段内的离线同步任务的资源消耗情况。以DataWorks离线数据集成任务为维度,展示该任务7天内等待耗时与运行耗时,及其7天内波动率,节点责任人,该任务运行耗时、等待数据集成任务执行资源时长、源端类型与目标端类型、同步数据总量与执行结果等多维度信息。

您可以根据界面上各维度的分析结果,结合业务情况,规划需要,对相关业务进行优化操作。

阿里云首页 大数据开发治理平台 DataWorks 相关技术圈