生产环境补数据

本文为您介绍如何为生产环境中的集成任务补数据和逻辑表任务补数据。

前提条件

任务发布至生产环境,详情请参见发布任务

背景信息

发布至生产环境的数据次日才会参与调度,本教程为了让您快速熟悉流程,采用补数据的方式,模拟生产环境调度任务生成实例。

您需要为集成任务test和数据表dim_provincefct_order_pay_didws_province补数据。数据表的补数据操作相同,下文以dim_province为例介绍。

集成任务补数据

  1. 登录Dataphin控制台

  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>

  3. 进入开发环境的运维页面。

    1. 在Dataphin首页,单击顶部菜单栏的研发

    2. 在数据开发页面,单击项目名称后的test图标,单击Prod页签,选择beginner_test项目。1

    3. 在数据开发页面,单击顶部菜单栏运维,在左侧导航栏单击周期任务

    4. 周期任务运维列表页面,单击明细及汇总表页签,在相应操作列下选择补数据>补当前任务

    5. 补数据 - 补当前任务对话框,配置参数。1

      参数

      描述

      补数据实例名称

      系统自动生成实例名称(节点名称_运行日期_实例化编号),用户可手动修改。

      业务日期

      选择连续区间,2022-07-282022-07-28。关于业务区间的配置的更多信息,请参见补数据

      并发运行组数

      默认为1组。

      选择字段

      默认选择全表

    6. 单击确定

  4. 查看补数据实例的运行结果。

    1. 在左侧导航栏,选择补数据实例

    2. 补数据实例页签中显示,运行状态与运行时长等信息。1

      层级

      描述

      层级一

      补录任务相关的运行状态显示为成功,并展示优先级、负责人业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长信息。

      层级二

      补录任务日期相关的运行状态显示为成功,并展示优先级、负责人业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长信息。

      层级三

      补数据实例相关的运行状态显示为成功,并展示优先级、负责人业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长等信息,同时单击1您也可以查看该实例依赖的DAG图。

逻辑表任务补数据

  1. 登录Dataphin控制台

  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>

  3. 进入开发环境的运维页面。

    1. 在Dataphin首页,单击顶部菜单栏的研发

    2. 在数据开发页面,单击项目名称后的test图标,单击Prod页签,选择beginner_test项目。1

    3. 在数据开发页面,单击顶部菜单栏运维,在左侧导航栏单击周期任务

    4. 周期任务运维列表页面,单击明细及汇总表页签,在相应操作列下选择补数据>补当前任务1

    5. 补数据 - 补当前任务对话框,配置参数。1

      参数

      描述

      补数据实例名称

      系统自动生成实例名称(节点名称_运行日期_实例化编号),用户可手动修改。

      业务日期

      默认为连续区间,2022-08-042022-08-04

      并发运行组数

      默认为1组。

      选择字段
      • 默认选择全表,即对当前汇总表的所有指标进行补数据。

      • 如果您只希望对部分字段进行部署,可选择指定字段

      说明

      关于不同调度周期任务补数据配置的具体操作,请参见补数据

    6. 单击确定

  4. 查看补数据实例的运行结果。

    1. 在左侧导航栏,选择补数据实例

    2. 补数据运维列表中显示相应的运行信息。1

      层级

      描述

      层级一

      补录任务相关的运行状态显示为成功,并展示优先级、负责人业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长信息。

      层级二

      补录任务日期相关的运行状态显示为成功,并展示优先级、负责人业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长信息。

      层级三

      补数据实例相关的运行状态显示为成功,并展示优先级、负责人业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长等信息,同时单击1您也可以查看该实例依赖的DAG图。

      说明

      关于相应层级的说明,具体请参见通用补数据实例

后续步骤

等待补数据实例运行成功后,切换到开发模式进行数据验证,详情请参见查看运行结果

阿里云首页 智能数据构建与管理 Dataphin 相关技术圈