运维中心为您提供针对任务和实例的运维入口,包括运维大盘、任务运维、实例运维和监控配置。

运维中心触发任务运行的方式包括周期调度和手动触发。系统的周期调度时间包括分钟、小时、日、周、月和年。触发任务运行包括补数据周期任务、手动运行手动任务和启动实时任务的运行。

数据开发模块开发的任务,提交或发布后进入开发环境或生产环境的运维中心,详情见下表。
开发模式 描述 作用
Dev-Prod
  • 开发环境的运维中心支持查看、运维管理已提交的任务。开发环境的所有任务默认不运行,需要您手动触发任务的运行。
  • 生产环境的运维中心支持查看、运维管理已发布的任务。生产环境的周期任务即可开始正常调度。同时,生产环境支持为任务配置监控报警。
Dev-Prod开发模式的项目包括开发环境(Dev)运维中心和生产环境(Prod)运维中心:
  • 您可以通过补数据周期任务和触发手动任务运行的方式,验证开发环境任务是否能够正常运行,数据是否能够正常产出。
  • 生产环境的运维中心用于调度周期任务、运行手动任务和实时任务,以保障生产数据正常产出。
Basic 任务提交成功后,即可在运维中心查看和运维管理已提交的任务。周期任务即可开始正常调度。同时,生产环境支持为任务配置监控报警。 保障任务对应的生产数据正常产出。
运维中心功能模块说明。
功能模块 描述
运维大盘 运维大盘为您提供所有实例的运行详情、运行趋势、实例运行统计、异常实例排行和报警排行等,便于您及时获取任务运行的状况、了解实例运行的趋势,以判断资源的消耗及影响,从而作出预算准备、资源扩容或规格升级的决策。
调度资源大盘 调度资源大盘为您提供全局任务资源分配、全局资源消耗、建议优化任务等,便于您及时获取资源调度状况、了解资源调度趋势,以判断资源的消耗及影响,从而作出预算准备、资源扩容或规格升级的决策。
任务运维 任务运维依照调度时效分为周期任务、实时任务和手动任务。周期任务包括脚本任务、逻辑表任务和萃取任务。任务运维模块为您提供周期任务、实时任务和手动任务的运维和管理,包括查看DAG图、查看实例、补数据、批量修改任务的责任人等。
实例运维 实例运维模块依照实例生成方式分为周期实例、补数据实例、手动实例和实时实例。实例运维模块为您提供周期实例、补数据实例、手动实例和实时实例的运维和管理,包括查看DAG、查看任务、查看运行日志、批量重跑等操作。
基线运维 基线运维支持基线监控、基线告警、基线实例、高优任务保障。基线运维为您提供基线监控、基线告警、基线实例、高优任务保障的运维和管理。包括查看DAG、批量开启/关闭基线任务监控开关、批量转让基线负责人等操作。基线范围内的任务可设置更高优先级以优先分配资源。
监控配置 在Prod和Basic项目下,支持配置任务的多种监控告警规则。逻辑表任务支持配置字段视角的监控报警。监控配置帮助您及时了解任务运行动态,并监控异常任务,此外,支持针对需要重点保障的任务配置基线监控。
限流规则配置 限流规则配置是当计算引擎出现性能瓶颈、资源分配不足或需控制任务下发时间和顺序等场景时,您可在开发或生产环境配置限流规则,以保障系统的稳定性及控制高优先任务优先分配资源、优先运行,保证数据按序、及时的产出。

应用场景

  • 运维大盘展示离线实例和实时实例的实例统计、异常统计情况,包括运行详情、运行趋势、运行失败实例数排行、运行失败实例对应任务数排行、失败报警实例数排行、延时报警实例数排行、运行状态统计、运行时长统计、失败次数统计、延时时长统计和报警排行。帮助您从全局视角管控实例的运行情况,及时同步异常信息,提升运维效率。
  • 调度运维大盘展示资源分配、资源消耗、建议优化任务,包括全局资源分配、资源分配趋势、CPU分配消耗趋势、内存分配消耗趋势、CPU配置待优化任务、内存配置待优化任务。帮助您从全局视角管控资源调度的情况,提升资源利用率
  • 基线运维支持配置物理任务和逻辑表字段告警规则,如果被监控的任务或字段异常,系统通过电话、短信、钉钉或邮件报警给您。
  • 任务运维和实例运维支持调度与运维管控数据集成、建模研发、编码研发和数据萃取模块生成的代码任务,包括单节点及其上下游依赖任务或实例的状态查看及管理操作,以保障数据有序生产。
  • 限流规则配置在计算引擎出现性能瓶颈、资源分配不足或需控制任务下发时间和顺序等场景时,根据配置的生效时间进行限流,以保障系统稳定性及优先分配资源保障数据产出。
  • 监控配置支持配置任务或逻辑表字段的监控告警规则。如果被监控的任务或字段异常, 系统通过电话、短信、钉钉或邮件的方式报警给您,降低运维成本。
    说明
    • 仅Basic和Prod项目支持配置监控报警。
    • 限流配置和基线运维需单独购买开通后使用。

入口介绍

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>

    您也可以单击快速开始相关工作区域的调度运维,快速进入运维中心。

  3. 在Dataphin首页,单击顶部菜单栏的研发
    您也可以单击运维调度调度运维,快速进入运维中心。gahga
  4. 单击顶部菜单栏的运维,进入运维中心。
  5. 在运维中心页面,左侧导航栏为您展示各功能模块的入口按钮。鼠标悬停至左侧导航栏后,为您展示各功能模块入口按钮的文字说明,同时您可以单击atagta图标,锁定左侧菜单栏。1

    如果您不需要锁定左侧菜单栏,则单击atagta图标。