创建及管理标签离线服务任务

Dataphin支持通过批量标签查询服务,输出标签表给到下游应用系统。本文将指导您如何新建标签离线任务。

限制说明

为保障数据的高可用,运行标签离线服务时,系统会将数据写入临时表({目标表}_dpfx_b);写入完成后,将原目标表进行重命名({目标表}_dpfx_tmp),目标表重命名后将临时表重命名为目标表;最后删除原目标表({目标表}_dpfx_tmp)。在重命名原目标表完成后到将临时表重命名为目标表完成前,数据将存在短暂不可用时间。

前提条件

  • 创建标签离线服务前,已在标签资产市场选择所需标签并申请使用权限至服务所在应用。具体操作,请参见申请标签或群组权限

  • 已创建标签离线服务关联的应用。具体操作,请参见新建应用

  • 创建标签离线服务前需创建对应的实体。具体操作,请参见创建实体

标签离线服务概览

标签离线服务页面主要由筛选与搜索区、功能区、标签离线服务列表组成。您可以在标签离线服务页面对创建的标签离线服务进行相关的管理操作。

image

区块

说明

功能区

  • 只看我的:勾选后系统将筛选当前账号所创建的标签离线服务。

  • 搜索:支持通过输入标签离线服务名称来筛选标签离线服务。

  • 筛选:支持根据应用名实体-实体ID目标源类型任务状态执行状态调度类型进行筛选。

    • 应用名:通过标签离线服务所属于的应用进行筛选。

    • 实体-实体ID:通过标签离线服务中导出的标签的实体-实体ID进行筛选。

    • 目标源类型:通过标签离线服务的目标数据源类型进行筛选。

    • 任务状态:通过标签离线服务的任务状态进行筛选。包括编辑中发布中发布失败已发布已下线下线中下线失败未知状态

    • 执行状态:通过标签离线服务的最近一次执行状态进行筛选。包括未运行、运行中、任务出错、运行成功

    • 调度类型:通过标签离线服务的调度类型进行筛选。包括周期调度手动调度

  • 新建离线服务:单击新建离线服务进行创建标签离线服务。具体操作,请参见新建标签离线服务

  • 刷新:单击image..png刷新图标可刷新当前标签离线服务列表及刷新任务状态。

标签离线服务列表

标签离线服务页面以列表形式为您展示创建的标签离线服务,包括任务名负责人应用名实体实体ID任务状态执行状态标签目标源类型目标表调度类型创建时间以及支持的操作。标签离线服务支持的管理操作详情如下:

说明

鼠标悬停至目标表,支持查看目标表的全称和目标数据源名称。若目标数据源类型为openGauss,还支持查看目标表Schema。

  • 编辑:对于编辑中发布失败已发布已下线状态的离线服务,可以单击image.png进行编辑后重新发布。

  • 详情:单击image.png可查看当前标签离线服务详情信息。

  • 查看实例:单击image.png可查看当前标签离线服务生成的执行实例。

  • 下线:对于已发布状态的标签离线服务,单击image.png下线图标可下线当前的标签离线服务。

  • 删除:对于已下线、发布失败状态的标签离线服务,单击image..png删除图标可以删除当前标签离线服务。

  • 运行:对于调度类型为手动调度的任务,可以单击image.png运行图标并在运行对话框中选择业务日期手动运行。

  • 补数据:对于运行中状态的标签离线服务,可以单击image补数据图标进行补数据,默认补业务日期为昨天(T-1)的数据。

新建标签离线服务

  1. 在Dataphin首页的顶部菜单栏中,选择标签 > 标签应用

  2. 在左侧导航栏中选择服务管理 > 标签离线服务

  3. 标签离线服务页面,单击新建任务

  4. 新建离线服务配置页中,配置以下参数。

    参数

    描述

    基本信息

    任务名

    填写离线任务名称。允许中英文、数字、下划线(_), 64个字符以内。

    应用选择

    选择已关联项目的应用。

    负责人

    选择该离线服务的负责人。

    实体

    选择离线服务对应的实体名称。

    实体ID选择

    选择实体对应的ID名称。

    说明

    字段映射输入标签可选标签范围将基于选择的实体ID进行过滤。

    调度类型

    支持周期调度和手动调度任务类型。

    • 手动调度:一次集成,任务发布后可在任务列表页选择手动执行。

    • 周期调度:调度执行,根据配置周期调度执行。

    描述

    填写简单描述信息,1000个字符以内。

    字段映射

    目标数据源

    选择离线服务对应的目标数据源。目标数据源可以为在Dataphin创建的MySQLOracleAnalyticDB for PostgreSQLGreenplum、openGauss数据源和项目

    说明

    项目的目标数据源仅支持当前账号加入的项目(通用标签项目),且项目生产账号具有同步写权限。

    若无所需数据源,您可以单击+新建数据源进行创建。具体操作,请参见数据源管理概述

    Schema

    目标数据源类型为openGauss时,支持选择数据源的Schema。

    目标表

    选择目标数据源中的目标表。openGauss数据源类型为Schema下的目标表。

    • 不支持多级分区表

    • 跨项目安全模式开启时,不支持跨项目建表。更多信息,请参见安全设置

    • 若没有当前目标表生产环境的写表数据权限,您可以单击申请权限进行权限申请。更多信息,请参见申请、续期和交还表权限

    • 若无对应目标表,选择输入标签后,可以单击image创建所需的目标表。如下图所示:

      image

    • 在系统生成的建表语句中,请确认表名、字段类型、精度等是否符合需求后再单击新建

    • 表名和表备注都均由系统自动生成,可以按需要进行修改。

    • 系统生成的建表语句参考了输入标签的类型,并进行了初步的转换,您可以按需修改。

    • 目标数据源为项目时,系统将默认生成分区表,建议不做调整。

    • 目标数据源类型为AnalyticDB for PostgreSQL时,不支持选择分区表。

    • 选择输入标签后,可以配置导出的标签的代码值和代码名称。可以单独导出标签值或代码名称,也可以全部导出,但至少需要导出一个。

      说明

      目前行为偏好类标签暂不支持导出。

    • 一键建表时,若标签已配置码表,可选择代码名称导出。导出代码名称为{标签code}_codename。一键建表后,系统将自动映射字段。

    日期分区

    选择目标表的分区字段。

    • 若所选目标表为分区表,则系统将默认该表的第一个分区字段。

    • 若所选目标表为非分区表,则无需选择日期分区。

    分区字段格式

    输入日期格式,或选择已有的日期格式。可选择yyyyMMddyyyy-MM-ddyyyy/MM/ddyyyy.MM.dd

    说明

    仅当计算引擎为MaxCompute时,分区字段格式可选择为yyyymmddyyyy-mm-ddyyyy/mm/ddyyyy.mm.dd

    加载策略

    仅支持覆盖策略加载策略;覆盖数据策略下,当主键/约束冲突时,会先删除原数据,再插入整行新数据。

    输入标签

    勾选实体下需要进行映射的标签,并单击image按钮进行数据源字段映射关系配置。

    说明

    目前行为偏好类标签暂不支持导出。

    映射关系

    系统显示已选的标签及其映射字段关系,需要选择输出标签映射的映射字段。

    • 同名映射:单击image.png支持将相同名称的标签及其映射字段进行关联。

    • 清除:单击image.png支持将已映射关系进行清除。

    运维配置

    调度周期

    在特定时间范围内进行任务调度的周期。支持按日调度。标签离线任务将按照配置的调度时间按日调度运行。

  5. 单击发布,即可完成标签离线服务任务创建。