管理发布任务

基于Dev-Prod开发模式,开发环境生成的规范建模、数据处理、数据集成类任务,需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。

背景信息

  • 如果您选择了Dev-Prod开发模式,提交后的任务进入发布模块的待发布对象列表。您需要在发布模块发布任务,发布成功的任务才会参与生产环境的运维调度。

  • 如果您选择了开发模式是Basic模式,提交后的任务直接进入生产环境。

  • 发布模块的任务以集成同步规范建模数据处理页签分类展示,同时系统支持记住最近一次访问的列表(集成同步、规范建模和数据处理)。当您再次进入发布模块,会自动进入最近一次访问的列表。

说明

发布功能仅开发环境可见。

发布中心入口

  1. 在Dataphin产品首页,单击顶部菜单栏的研发

  2. 在数据开发页面,单击顶部菜单栏的发布,进入发布中心。

    image

发布任务

发布任务即从待发布对象列表中将待发布任务发布;如果开发环境的任务变更,发布后,生产环境中该任务已存在的版本将会受到影响。

  • 单个任务发布或批量发布任务时,会先预检一次本次发布需要消耗的数据处理单元数量是否会超出剩余可用总量,如果超出阻断发布。

  • 如果预检通过,进入单个对象的发布校验流程,所有校验都通过后,还会再此校验每个对象发布后是否会超出数据处理单元额度,超出则当前对象发布失败。

发布单个任务

待发布对象列表页面,单击发布

image.png

批量发布多个任务

批量发布时,会根据所有选中对象之间的依赖关系自动编排并确定发布顺序,避免因为上游依赖未发布而导致本次发布失败。

image.png

任务发布后,可在发布详情里查看校验详情,请参见查看发布详情

重新发布

任务发布失败根据失败提示修改后,可在发布记录列表重新发布。

  • 针对需要进行发布审批的对象,如果该任务发布审批已经通过,重新发布无需重新进行发布审批,系统会自动通过。

  • 每一次重新发布都会进行售卖检查校验。

重新发布单个任务

发布记录列表页面,单击操作列下的重新发布,对该对象重新发布。

image.png

批量重新发布任务

发布记录列表页面,单击对象名称后的重新发布,对该发布包可以重新发布的对象一键批量重新发布。

image.png

发布审批

Dataphin支持在项目粒度配置是否开启发布审批,如果开启了发布审批功能,则发布对象时会首先生成一个待审批的流程,审批通过后才会进入发布校验环节,以便更好的对发布流程进行管控。接下来为您介绍发布审批功能的开启即对应的流程查看。

  1. 在Dataphin首页,单击顶部菜单栏规划

  2. 按照下图操作指引,进入信息设置页面。image..png

  3. 信息设置页面的发布设置区域,配置发布设置。

    项目管理员:勾选即为选中当前生产项目的所有管理员。

    自定义:自行指定发布审批人员,不超过10个审批人。

    image
    说明

    审批策略并行审批即任一审批人同意即通过,任一审批人驳回即终止。

  4. 待发布对象页面,单击image图标,查看审批信息。

    如果开启了发布审批,可查看发布审批配置。建议您填写本次申请发布的备注以作为发布审批的参考信息,具体操作请参见发布审批

    image
  5. 操作完成后,登录审批人账号,单击右上角的image图标,在任务中心,对发布任务进行审批,具体操作请参见查看并处理任务

编辑任务

  1. 待发布对象列表页面,单击操作列下的tstt图标。

    您也可以通过以下操作步骤,进入任务对应的模块:

    1. 待发布对象列表页面,单击左侧导航栏中发布记录列表

    2. 发布记录列表页面,单击操作列下的test图标。

  2. 进入任务对应的模块,编辑任务。

移除对象

移除对象即从待发布对象列表中移除待发布任务,生产和开发环境该任务已存在的版本不受影响。如果生产和开发环境的任务需要变更,则需重新提交和发布任务。

移除单个对象

待发布对象列表页面,鼠标悬停至操作列下的tsga图标后,单击移除对象

image

批量移除多个对象

待发布对象列表页面单击页面下方的批量移除

image

查看30天前提交的待发布对象并移除

若待发布对象列表中存在30天前提交的待发布对象,页面上将存在提醒徽标。您可以快捷单击查看30天前提交的待发布对象,如果不需要继续发布,您可进行批量移除。如下图所示:

image

在历史待发布对象对话框中,您可以对30天前提交的待发布对象进行管理。

  • 忽略:单击忽略可取消当前提醒徽标。

  • 查看:单击查看将为您筛选30天前提交的待发布对象。

查看发布记录

发布页面,单击左侧导航栏的发布记录列表。在发布记录列表页面,您可以查看集成管道规范建模数据处理模块已发布的任务(任务所有版本的发布记录)。

同时,您也可以执行以下操作:

  • 查看发布详情,详情请参见查看发布详情

  • 单击操作列下的图标,编辑任务。

  • 规范建模页签,单击操作列下的图标。在待发布对象列表页面,再次发布任务(发布失败的任务会自动退回至待发布对象列表。)

    重要

    该操作仅限发布失败的任务,且该任务在待发布对象列表

发布记录列表页面,单击左侧导航的待发布对象列表。在待发布对象列表页面,查看某个任务的历史版本发布记录:

  1. 单击操作列下的test图标。

    说明

    系统仅支持当前版本号大于1的任务查看历史版本发布记录。

  2. 发布记录列表页面,查看该任务的历史版本发布记录。

查看发布详情

  1. 发布页面,单击左侧导航栏的发布记录

  2. 发布记录列表页面,单击任务后的image图标,查看发布详情。

    image

    可在发布详情对话框,查看基本信息流程校验常提醒信息。

    • 发布审批:若该对象开启了发布审批,则有该流程。

    • 管控规则:若该对象命中了发布管控策略,则有该流程。

    • 执行条件:不同对象类型有不同的校验条件,可在发布详情里查看校验详情。

    • 售卖检查:若该对象需要消耗数据处理单元,则有该流程。

      发布功能项

      描述

      发布审批

      若是历史已经审批通过但发布失败的记录重新发布,则发布审批环节自动通过。

      管控规则检查

      若命中管控规则,则展示管控策略、管控规则、异常说明(如有)、检查结果信息,单击操作列下的image图标查看规则检查详情。

      执行条件检查

      为您展示执行条件检查的类型、名称、异常说明(如有)和检查结果。如果校验不通过,您可以通过页面提示及快捷操作按钮进行修改后重新发布。如果发布审批已经通过,重新发布不需要重新进行发布审批。

      售卖检查

      周期任务需要进行售卖检查,手动任务无需进行售卖检查。

      • 集成同步包括离线管道任务、同步任务。

      • 数据处理包括离线计算任务、实时计算任务

      • 规范建模包括维度逻辑表、事实逻辑表、派生指标、衍生指标。

      说明
      • 任务整体发布通过后,如果是消耗数据处理单元的对象,则需要进行售卖检查,仅周期任务需要进行售卖检查。统计详情请参见查看资源使用情况统计口径

      • 文件(指即席查询文件)、表管理(指元表、镜像表和离线物理表)、离线计算模板、实时计算模板和注册上挂指标无需进行售卖检查。

  3. 单击确定