Basic项目中已提交的任务,或Dev-Prod项目中已发布的任务将会展示在运维中心,您可以查看任务及其生成的实例并进行运维操作。运维中心包括运维大盘概览、任务运维、实例运维和监控配置。

功能介绍

任务按照调度属性,分为周期任务、手动任务和实时任务。周期任务每天23点按照调度周期生成对应的周期实例;手动任务每手动运行一次生成一个手动实例;实时任务启动之后即生成对应的实时实例。

和数据开发一样,运维中心支持生产开发隔离和单环境两种模式。开发环境的实例默认不调度,如果您需要基于开发环境的数据进行测试,可以手动强制重跑未运行的实例。生产环境的实例按照调度配置,定时调度或手动触发调度。运维中心的开发环境和生产环境的详细描述,请参见下表。
开发模式 描述 作用
Dev-Prod
  • 开发环境的运维中心支持查看、运维管理已提交的任务。开发环境的所有任务默认不运行,需要您手动触发任务的运行。
  • 生产环境的运维中心支持查看、运维管理已发布的任务。生产环境的周期任务即可开始正常调度。
Dev-Prod开发模式的项目包括开发环境(Dev)运维中心和生产环境(Prod)运维中心:
  • 您可以通过补数据周期任务和触发手动任务运行的方式,验证开发环境任务是否能够正常运行,数据是否能够正常产出。
  • 生产环境的运维中心用于生产任务的正常调度,以保障生产数据正常产出。
Basic 任务提交成功后,即可在运维中心查看和运维管理已提交的任务。同时,周期任务即可开始正常调度。 保障Basic任务对应的生产数据正常产出。

数据开发模块开发的任务,提交或发布后进入开发环境或生产环境的运维中心,详情见下表。

运维中心功能模块说明。
功能模块 描述
运维大盘 运维大盘为您提供所有任务运行概况、实例分布统计、异常实例统计,便于您及时获取任务运行的状况、了解实例运行的趋势,以判断资源的消耗及影响,从而作出预算准备、资源扩容或规格升级的决策。
任务运维 任务运维依照调度时效分为周期任务、实时任务和手动任务。周期任务包括脚本任务、逻辑表任务和萃取任务。任务运维模块为您提供周期任务、实时任务和手动任务的运维和管理,包括查看DAG图、查看实例、补数据、批量修改任务的责任人和运行任务等。
实例运维 实例运维模块依照实例生成方式分为周期实例、补数据实例、手动实例和实时实例。实例运维模块为您提供周期实例、补数据实例、手动实例和实时实例的运维和管理,包括查看DAG、查看任务、查看运行日志、批量重跑、批量暂停和批量恢复等操作。
监控报警 在Prod和Basic项目下,支持配置任务的多种监控告警规则。对于逻辑表任务,提供字段视角的监控配置。帮助您及时了解任务运行动态,并监控异常任务。

应用场景

  • 运维大盘展示实例统计和异常统计情况,包括实例运行统计、实例运行趋势、运行状态统计、运行时长统计、失败次数统计和延时时长统计。帮助您从全局视角管控实例的运行情况,及时同步异常信息,提升运维效率。
  • 任务运维和实例运维支持调度与运维管控数据集成、建模研发、编码研发和数据萃取模块生成的代码任务,包括单节点及其上下游依赖任务或实例的状态查看及管理操作,以保障数据有序生产。
  • 监控配置支持配置任务或逻辑表字段的监控告警规则。如果被监控的任务或字段异常, 系统通过电话、短信、钉钉或邮件的方式报警给您,降低运维成本。
    说明 仅Basic和Prod项目支持配置监控报警。

入口介绍

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>trst

    您也可以单击快速开始相关工作区域的调度运维,快速进入运维中心。

  3. 在Dataphin首页,单击顶部菜单栏的研发
    您也可以单击运维调度调度运维,快速进入运维中心。gahga
  4. 单击顶部菜单栏的运维,进入运维中心。
  5. 在运维中心页面,左侧导航栏为您展示各功能模块的入口按钮。鼠标悬停至左侧导航栏后,为您展示各功能模块入口按钮的文字说明,同时您可以单击atagta图标,锁定左侧菜单栏。teata

    如果您不需要锁定左侧菜单栏,则单击atagta图标。