管理发布任务

基于Dev-Prod开发模式,开发环境生成的规范建模、数据处理、数据集成类任务,需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。

背景信息

  • 如果您选择了Dev-Prod开发模式,提交后的任务进入发布模块的待发布对象列表。您需要在发布模块发布任务,发布成功的任务才会参与生产环境的运维调度。

  • 如果您选择的开发模式是Basic模式,提交后的任务直接进入生产环境。

发布任务

发布任务即从待发布对象列表中将待发布任务发布;如果开发环境的任务变更,发布后,生产环境中该任务已存在的版本将会受到影响。

  • 单个任务发布或批量发布任务时,会先预检一次本次发布需要消耗的数据处理单元数量是否会超出剩余可用总量,如果超出阻断发布。

  • 如果预检通过,进入单个对象的发布校验流程,所有校验都通过后,还会再此校验每个对象发布后是否会超出数据处理单元额度,超出则当前对象发布失败。

操作步骤

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 任务发布

  2. 在左侧导航栏中选择发布对象管理 > 待发布对象

  3. (可选)在待发布对象页面单击筛选,可根据项目、最近提交人、对象类型、最近提交时间、变更类型来筛选目标待发布对象,同时可选中我提交的今日提交,来快速筛选目标待发布对象。

  4. 待发布对象页面,选择单个发布待发布对象或批量发布待发布对象。

    • 单个发布:单击目标待发布对象操作列的image图标,打开发布配置对话框。

    • 批量发布

      1. 选中多个待发布对象,或单击页面底部的本页全选

      2. 单击页面底部的批量发布,打开发布配置对话框。

  5. 发布配置对话框中,填写发布名称发布备注,并选择依赖对象发布范围

    • 依赖对象:列表中为所选待发布项所依赖的全部上游待发布项,即所选对象的上游对象的待发布项。若当前用户没有待发布项所依赖对象的发布权限(不在列表中),系统将自动生成审批单。

    • 发布范围:可选择必须按依赖和可选依赖仅必须依赖仅已选(不发布上游依赖),默认选择必须按依赖和可选依赖。若选择仅已选(不发布上游依赖),系统将自动清空依赖对象列表,发布时仅发布用户当前选择的待发布项,不发布任务上游依赖的待发布项。

      说明

      假设对象A依赖对象B(例如任务A依赖任务B、原子指标A依赖其来源逻辑表B等情况),则发布时:

      • 必须依赖:若B的变更类型为新增,且A新增变更(A添加新的上游依赖B),则发布A时必须先发布B,否则A将发布失败,此时B是A的必选依赖。当A和B的变更类型均为删除时,A是B的必选依赖

      • 可选依赖:若B的变更类型为变更,且A新增变更,则不先发布BA可能发布成功,此时B是A的可选依赖。需注意,以上情况下若不发布B只发布A,A则基于B的旧逻辑运行,可能与预期不符。

      • 如果当前用户没有B的发布权限,则待发布对象列表将不包含B,此时受B影响的下游发布项将有可能发布失败。

  6. 单击确定,完成发布。

    发布时,系统将按照对象间的依赖顺序进行发布。

    例如当前单个发布待发布项A,系统检测到对象A及其依赖关系为A <- L1 <- L2 <-L3(A依赖于L1、L1依赖于L2、L2依赖于L3),且每一层均为必选依赖。当前用户若仅拥有L1和L3的发布权限,没有L2的发布权限,则本次发布的发布清单中将含有L3、L1和A的发布记录,其中L1和A均为发布失败;不包含L2的发布记录。

任务发布后,可在发布详情里查看校验详情,请参见查看发布详情

重新发布

若任务发布失败,可根据失败提示修改,并在发布记录列表进行重新发布。

  • 针对需要进行发布审批的对象,如果该任务发布审批已经通过,重新发布无需重新进行发布审批,系统会自动通过。

  • 每一次重新发布都会进行售卖检查校验。

操作步骤

  1. 在Dataphin首页的顶部菜单栏中,选择研发 > 任务发布

  2. 在左侧导航栏中选择发布对象管理 > 发布记录

  3. 发布记录列表页面,选中页面右上角的发布失败,快速筛选出所有发布失败的对象。

  4. (可选)单击页面右上角的筛选,根据项目、发布人、对象类型、发布时间、变更类型和发布状态来筛选目标对象。

  5. 在发布记录列表中,重新发布单个对象或多个对象。

    • 重新发布单个对象:单击目标对象操作列中的image图标,对该对象重新发布。

    • 重新发布失败及取消的对象:单击目标对象发布名后image图标,发布该发布包所有发布失败及取消的对象。

  6. 在弹出的对话框中,单击确定,完成重新发布。

发布审批

Dataphin支持在项目粒度配置是否开启发布审批,如果开启了发布审批功能,则发布对象时会首先生成一个待审批的流程,审批通过后才会进入发布校验环节,以便更好地对发布流程进行管控。接下来为您介绍发布审批功能的开启即对应的流程查看。

  1. 在Dataphin首页的顶部菜单栏中,选择规划 > 项目

  2. 在项目管理页面,单击目标项目卡片中的信息设置,打开信息设置对话框。

  3. 信息设置对话框中的发布设置区域,单击开关来开启或关闭发布审批。开启后,还需配置以下参数:

    • 审批人:可选择项目管理员自定义。选中项目管理员,即选中当前生产项目的所有管理员;选中自定义,则需选择不超过10个的默认审批人。

    • 审批策略:默认为并行审批,即任一审批人同意即通过,任一审批人驳回即终止。

  4. 发布记录页面,单击发布名后的image图标,查看发布审批流程。

    发布审批流程对话框中,可查看各审批单的审批状态、审批人等信息,您可单击image图标,前往任务中心查看对应审批单详情。

  5. 审批人单击页面右上角的image图标,在任务中心,对发布任务进行审批,具体操作请参见查看并处理任务

编辑任务

  1. 待发布对象列表页面,单击目标对象操作列中的image图标,选择编辑跳转至开发页面的对应项目下。

  2. 进入任务对应的模块,编辑任务。

移除对象

移除对象即从待发布对象列表中移除待发布任务,生产和开发环境该任务已存在的版本不受影响。如果生产和开发环境的任务需要变更,则需重新提交和发布任务。

操作步骤

  1. (可选)在待发布对象页面单击筛选,可根据项目、最近提交人、对象类型、最近提交时间、变更类型来筛选目标待发布对象,同时可选中我提交的今日提交,来快速筛选目标待发布对象。

  2. 待发布对象页面,移除单个或多个待发布对象。

    • 移除单个待发布对象:单击目标对象操作列中的image图标,选择移除

    • 批量移除多个待发布对象:选中多个待发布对象,或单击页面底部的本页全选,然后单击页面底部的批量移除

  3. 在弹出的对话框中,单击确定,完成移除。

查看发布记录

发布记录页面,您可以查看已发布的任务(任务所有版本的发布记录)。支持对发布记录进行以下操作:

  • 查看发布详情:详情请参见查看发布详情

  • 重新发布:重新发布发布失败的对象,详情请参见重新发布

  • 查看版本详情:单击目标对象版本号列的数字,查看该发布对象当前版本的详细信息。

  • 去运维发布成功且发布类型不为删除的对象支持去运维。单击目标对象操作列的image图标,跳转至运维页面下的对应模块。

待发布对象页面,可单击目标对象操作列中的image图标,查看改对象历史版本的发布记录详情。

说明

系统仅支持当前版本号大于1的任务查看历史版本发布记录。

查看发布详情

  1. 发布记录页面,单击目标对象操作列中的image图标,打开发布详情对话框。

  2. 可在发布详情对话框中,查看当前对象的基本信息流程校验异常提醒信息。

    发布功能项

    描述

    发布审批

    若该对象开启了发布审批,则有该流程。当历史已审批通过但发布失败的对象重新发布时,发布审批环节自动通过。

    管控规则检查

    若该对象命中了发布管控策略,则有该流程。若命中管控规则,则展示管控策略、管控规则、异常说明(如有)、检查结果信息,单击操作列下的image图标查看规则检查详情。

    执行条件检查

    不同对象类型有不同的校验条件,可在发布详情里查看校验详情。展示执行条件检查的类型、名称、异常说明(如有)和检查结果。如果校验不通过,您可以通过页面提示及快捷操作按钮进行修改后重新发布。如果发布审批已经通过,重新发布不需要重新进行发布审批。

    售卖检查

    若该对象需要消耗数据处理单元,则有该流程。仅周期任务需要进行售卖检查,手动任务无需进行售卖检查。

    • 集成同步包括离线管道任务、同步任务和实时集成任务

    • 数据处理包括离线计算任务、实时计算任务。

    • 规范建模包括维度逻辑表、事实逻辑表、派生指标、衍生指标。

    说明
    • 任务整体发布通过后,如果是消耗数据处理单元的对象,则需要进行售卖检查,仅周期任务需要进行售卖检查。统计详情请参见查看资源使用情况统计口径

    • 文件(指即席查询文件)、表管理(指元表、镜像表和离线物理表)、离线计算模板、实时计算模板和注册上挂指标无需进行售卖检查。

  3. 发布成功的对象单击关闭,来关闭发布详情对话框;发布失败的对象可单击重新发布,来重新发布当前对象。