运维调度基于策略对建模研发、编码研发、数据萃取生成的代码任务进行调度与运维管控。运维调度包括全局运维、逻辑表运维、萃取运维三部分。

进入运维调度

您可以通过以下任一方式进入运维调度
  • 在Dataphin产品首页,单击顶部研发菜单,默认进入开发模块,然后切换到运维页签,即可进入运维调度页面。
  • 在Dataphin产品首页,通过快速入口进入运维调度页面:
    单击运维调度,或者单击调度运维后的进入,进入运维调度页面。运维调度
在Dev-Prod模式中,Dev和Prod环境中的调度任务互相独立:
  • Dev环境中调度任务包括全局运维、逻辑表运维。
  • Prod环境中调度任务包括全局运维、逻辑表运维、监控报警,仅Prod环境下可配置监控报警任务。

您可以通过单击页面左上角的切换进入到该项目对应环境的运维调度页面。例如,当前处于开发环境下项目test_dev的运维调度页面,单击切换为Prod生产环境,就会进入生产环境下test项目的运维调度页面。

在Basic模式中,运维调度包括萃取运维全局运维监控报警模块。
说明 数据萃取项目下包含全局运维萃取运维监控报警模块,没有逻辑表运维模块。

Dev项目的调度任务不支持自动运行,您可以手动运行执行调度生成实例。Prod项目和Basic项目的调度任务将按照调度配置正常生成与运行。

Prod和Basic环境的调度实例正常生成与运行,可以配置任务监控规则并报警。
运维调度将任务、实例、逻辑表划分成了不同的类型,鼠标悬停于左侧图标时会展示分类名称。当您单击要查看的任务或实例类型时,会跳转至对应任务或实例的运维页面。 进入运维调度后,默认展示周期任务 > 常规任务

任务

任务是指所有代码脚本等提交后发布上线的、可周期/手动触发运行的对象,可以被调度,又称为节点。调度运维中将节点分为两种:
  • 周期节点,这类节点会配置调度周期,Dataphin的作业调度系统会周期性地调度这类节点,每次节点被调度时都会生成对应的周期实例。
  • 手动节点,这类节点不会被系统自动触发,用户可以根据需要自己手动运行对应的节点,每次运行手动节点会生成对应的手动实例。
调度执行顺序,会根据配置的调度周期、依赖关系、任务优先级三者共同决定:
  • 每天晚上11点前更新节点的代码或配置,第二天生成的实例方会生效。
  • 实例运行时,会读取最新的节点代码和调度配置。
  • 调度支持的补数据时间范围是1970年-2099年,调度实例至多保留2周的实例信息。

实例

节点每运行一次生成一个实例。实例有3种不同的生成方式:
  • 周期实例,这类实例是由周期节点自动被系统调度触发生成,具有周期性。
  • 补数据实例,这类实例是通过用户对节点进行补数据操作时产生。
  • 手动实例,这类实例通过运行手动节点生成。

逻辑表

逻辑表运维包含2个模块:
  • 逻辑表任务,用于从逻辑表视角切入,为用户展现逻辑表内部任务关系。
  • 逻辑表实例,用于查看已运行的逻辑表任务包含的节点实例及其状态。

萃取运维

萃取运维包含2个模块:任务和实例。萃取运维是从业务视角出发管理行为规则和标签相关任务和实例。

公测期说明

公测期间资源消耗说明如下:
  • 每个租户分配最多40c160g的调度资源,当同步任务量大或者同步的数据量很大的情况下,可能同步速度较慢。
  • 消耗资源的同步任务、调度等的调度资源费用,暂不做额外收费。
说明 40c160g表示您可以使用的ECS资源为40个CPU Core + 160GB内存。ECS产品详情请参见什么是云服务器ECS