DataWorks数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题,并通过健康分模型进行量化评估,从全局、工作空间、个人等多个视角,以治理报告及治理排行榜的形式呈现治理成果,帮助您有效推动解决治理问题达成治理目标。在成本治理方面,数据治理中心提供任务资源消耗明细、资源消耗整体趋势、单任务费用预估等丰富功能,可帮助您对各类资源使用费用进行有效的优化控制。

前往使用

目前在如下区域支持数据治理中心功能,欢迎体验使用,您可以通过下方地址,快速跳转至对应区域数据治理中心首页:
说明
  • 仅阿里云主账号或具有AliyunDataWorksFullAccess权限的RAM用户,才可完整使用数据治理中心的全部功能,普通RAM用户可使用功能受限。如何授予RAM用户AliyunDataWorksFullAccess权限,详情请参见:给RAM子账号授权DataWorks相关管理权限
  • 自2022年8月5号起,您需要购买DataWorks企业版及以上版本才可以继续使用数据治理中心模块,DataWorks各版本的详细说明,请参见:DataWorks各版本详解
  • 数据治理中心目前仅支持MaxCompute引擎。
  • 其它地域后续将会陆续上线该功能,敬请期待。

相关概念

  • 检查项:用于数据开发等环节的事前检查,在开发流程中检测不符合数据规范的内容,生成影响开发流程正常执行的问题事件,约束、管理开发流程。

    例如,检查项可以配置为禁止使用select*语句,不允许通过create table语句创建表等。

  • 检查项事件:检查项检测出的影响开发流程正常执行的问题事件。
  • 治理项:用于数据开发后的分析环节,检测系统存在的待治理优化问题。治理项包括必选治理项和可选治理项。

    例如,治理项可以配置为任务运行时间超长连续出错节点无人访问叶子节点空跑节点等。

  • 治理项问题:治理项检测出的待治理优化问题。
  • 治理方案模板:数据治理中心提供的统一化治理模板,配置了常见的检查项及治理项,您可以直接使用该模板进行数据问题检测。
  • 健康分:基于治理项,按照系统预先定义的模型计算得出,用于体现治理成效。
  • 治理单元:由一个或多个工作空间组成,用于集中统计指定工作空间的整体健康分、治理项问题和检查项事件。
  • 知识库:数据治理中心提供的,针对常见检查项事件及治理项问题给出的解决方案。

用户角色权限

数据治理中心的用户角色主要分为以下两种:
  • 治理管理员

    治理管理员是组织、推动治理工作落地的人员,具备全局配置治理项、查看治理结果的较高权限。该角色是租户维度的角色,用于管理租户下所有工作空间及相关成员的治理情况。通常,阿里云主账号及具有AliyunDataWorksFullAccess权限的RAM用户默认为治理管理员,并且不能被删除。治理管理员可以添加其它RAM用户为治理管理员角色,详情请参见给RAM子账号授权DataWorks相关管理权限

  • 普通用户

    普通用户是数据治理工作中实际处理待治理问题的整改人员,可以使用个人视角查看检查项事件及治理项问题并执行整改操作。该角色为租户内的成员,通常,除阿里云主账号和具有AliyunDataWorksFullAccess权限的RAM用户外,其他用户默认均为普通用户。

数据治理逻辑

数据治理问题检测包括数据开发前的检查项检测,数据开发后的治理项检测,帮助您全方位管控当前数据存在的待治理问题。同时,数据治理中心为您提供了统一的治理方案模板,汇总了常见检查项及治理项,您可以直接使用该模板,检测平台使用过程中的待治理问题。数据治理逻辑如下图所示。数据治理逻辑图
  • 检查项检测。

    用于数据开发前的管控治理,主要在执行提交、发布等操作时校验规范性等问题。在进行数据开发前,您可以通过检查项对数据开发功能相关的约束进行检查,当检查出存在不符合约束规范的内容时,系统会生成影响开发流程正常执行的问题事件。您可以基于该事件处理暴露的问题,以便数据开发流程可以正常执行。

  • 治理项检测。

    用于数据开发后的管控治理。数据开发完成后,您可以使用数据治理中心的治理功能,通过全局视角个人视角工作空间视角,查看对应的待治理项。数据治理人员可以基于暴露的待治理项,快速发现并解决存在的问题,推进团队内的数据治理目标。

数据治理流程

数据治理流程如下图所示。治理流程
  1. 治理前期准备。
    • 添加治理方案模板并选择检测项。
      细分操作 操作目的 操作指导链接
      选择治理模板 数据治理中心的整体治理操作是基于治理方案模板执行的,模板中包含了预先配置的检查项及治理项,在治理前期,您需要添加使用治理方案模板后,才能启动后续治理操作。 查看治理方案模板
      选择生效的检查项
      • 注册检查项。

        如果您希望对扩展程序进行检测,则可以注册检测扩展程序的检查项,注册后,数据治理中心后续会检测扩展程序触发的检查项事件。

      • 关闭检查项。

        如果模板中包含您无需使用的检查项,则您可以配置指定工作空间停止使用目标检查项,停止使用后,该检查项对目标工作空间不生效,数据治理中心后续将不会检测目标工作空间中该检查项触发的检查项事件。

      注册并配置检查项
      选择生效的治理项 关闭治理项。
      如果模板中包含您无需使用的治理项,则您可以设置排除规则,定义指定治理项在目标工作空间中不启用。排除治理项后,数据治理中心将不会检测该工作空间下对应的治理项问题。同时,在待治理列表中也不会展示该治理项问题。
      说明 数据治理中心仅支持停用可选治理项,并且不支持新建治理项。
      配置治理项
    • 配置治理单元。

      DataWorks通常包含较多的工作空间,您可以采用治理单元,按照业务划分,将一个或多个目标工作空间统一管理,集中统计该单元下所有工作空间的整体健康分、治理项问题及检查项事件。配置治理单元,详情请参见创建并管理治理单元

  2. 启动检查并处理待治理问题。
    • 数据开发前检测。

      通过触发检查项进行检测。实现数据开发前检测需要进行触发检查项检测、生成检查项事件、查看并处理检查项事件等主要流程,操作详情请参见查看并处理检查项事件

    • 数据开发后检测。

      通过触发治理项进行检测。实现数据开发后检测需要进行触发治理项检测、生成治理项问题、查看并处理治理项问题等主要流程,操作详情请参见查看并处理治理项问题

  3. 查看治理成效。

    待治理问题处理完成后,您可以进入治理评估页面,通过治理评估报告或治理排行榜,从不同视角查看已执行的治理操作所取得的治理成效。您可以通过分析治理结果,快速识别治理项问题较多的维度及问题类别,推动治理工作的解决落地,达成治理目标。查看治理结果,详情请参见查看治理结果

    数据治理中心是基于治理项,按照定义的健康分模型进行量化评估,最终通过治理评估报告及治理排行榜中的健康分来体现当前所取得的治理成效,健康分越高,治理成效越好。健康分相关内容,详情请参见健康分

健康分

健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据,使用数据处理及机器学习等技术,对各类型数据进行综合处理和评估,通过个人、工作空间维度客观呈现数据资产状态的综合分值。在数据治理中,健康分体系依托不同元数据,建设了“存储、计算、研发、质量和安全”等五大健康度领域,并构建“存储健康分、计算健康分、研发健康分、质量健康分和安全健康分”五大健康分指标。健康分说明
健康分的取值范围为0至100,分值越大表示数据资产的健康度越好,较高的健康度可以帮助您更放心、高效、稳定的使用数据,保障数据生产和业务运转。数据治理中心基于治理项,按照定义的健康分模型进行量化评估,最终通过健康分的形式来体现当前账号的治理成效,健康分越高,治理成效越好。数据治理评估等级和健康分的对应关系如下。
等级 健康分
优秀 【90,100】
良好 【75,90)
及格 【60,75)
需改进 【30,60)
极差 【0,30)