运维中心包括任务、实例和逻辑表三个模块。

进入运维中心

可以通过两种方式进入运维中心。

  • 在Dataphin产品首页,单击顶部研发菜单,然后切换到调度页签,即可进入运维中心页面。
  • 在Dataphin产品首页,通过快速入口进入运维中心页面。
    单击运维调度,或者单击调度运维后的进入,跳转到运维中心页面,如下图所示。

Dataphin生产环境的项目和开发环境的项目,运维中心互相独立,用户可以通过单击左上角的环境切换按钮进行切换。如下图所示,当按钮置为Dev,表示开发环境;置为Prod,表示生产环境。单击按钮切换环境类型,即可进入到该项目对应环境的运维中心页面,同时项目也更新为当前打开项目所对应的另一个环境项目(简称“孪生项目”)。例如,当前处于开发环境下项目test_dev的运维中心页面,单击按钮切换为生产环境,就会进入生产环境下孪生项目test的运维中心页面。

生产环境的调度实例正常生成与运行,可以配置任务监控规则并报警。开发环境的调度实例也会生成,但是默认暂停且不执行,不支持配置任务监控。



运维中心将任务、实例、逻辑表划分成了不同的类型,鼠标悬停于左侧图标会展示分类名称。用户单击要查看的任务或实例类型,就会跳转至对应任务或实例的运维页面。 用户进入运维中心后,默认展示周期任务 > 常规任务



任务

任务是指所有代码脚本等提交后发布上线的、可周期/手动触发运行的对象,具有调度配置,又称为节点。调度运维中将节点分为两种,一种是周期节点,这类节点会配置调度周期,Dataphin的作业调度系统会周期性地调度这类节点,每次节点被调度时都会生成对应的周期实例。另一种节点是手动节点,这类节点不会被系统自动触发,用户可以根据需要自己手动运行对应的节点,每次运行手动节点会生成对应的手动实例。

说明 调度执行顺序,会根据配置的调度周期、依赖关系、任务优先级三者共同决定。
  • 每天晚上11点前更新节点的代码或配置,第二天生成的实例方会生效。
  • 实例运行时,会读取最新的节点代码和调度配置。
  • 调度支持的补数据时间范围是1970年-2099年,调度实例至多保留2周的实例信息。

实例

节点每运行一次生成一个实例。实例有三种不同的生成方式,第一种是周期实例,这类实例是由周期节点自动被系统调度触发生成,具有周期性。第二种是补数据实例,这类实例是通过用户对节点进行补数据操作时产生。第三种是手动实例,这类实例通过运行手动节点生成。

逻辑表

逻辑表运维包含两个模块,一个是逻辑表任务,用来从逻辑表视角切入,为用户展现逻辑表内部任务关系。另一个是逻辑表实例,用于查看已运行的逻辑表任务包含的节点实例及其状态。

公测期说明

公测期间,有关资源消耗的说明如下:

  • 每个租户分配40c160g的调度资源,当同步任务量大或者同步的数据量很大的情况下,可能同步速度较慢。
  • 消耗资源的同步任务、调度等的调度资源费用,暂不做额外收费。
说明 40c160g表示您可以使用的ECS资源为40个CPU Core + 160GB内存。关于ECS产品详情,请参见什么是云服务器ECS