文档

创建及管理标签离线服务任务

更新时间:

Dataphin支持通过批量标签查询服务,输出标签表给到下游应用系统。本文将指导您如何新建标签离线任务。

限制说明

  • 标签离线服务发布后,不支持修改。

  • 为保障数据的高可用,运行标签离线服务时,系统会将数据写入临时表({目标表}_dpfx_b);写入完成后,将原目标表进行重命名({目标表}_dpfx_tmp),目标表重命名后将临时表重命名为目标表;最后删除原目标表({目标表}_dpfx_tmp)。在重命名原目标表完成后到将临时表重命名为目标表完成前,数据将存在短暂不可用时间。

前提条件

  • 创建标签离线服务前,已在标签资产市场选择所需标签并申请使用权限至服务所在应用。具体操作,请参见申请标签权限

  • 已创建标签离线服务关联的应用。具体操作,请参见创建及管理应用

  • 创建标签离线服务前需创建对应的实体。具体操作,请参见创建实体

标签离线服务概览

标签离线服务页面主要由筛选与搜索区、功能区、标签离线服务列表组成。您可以在标签离线服务页面对创建的标签离线服务进行相关的管理操作。

image.png

区域

描述

筛选与搜索区

  • 只看我的:勾选后系统将筛选当前账号所创建的标签离线服务。

  • 搜索:支持通过输入标签离线服务名称来筛选标签离线服务。

  • 筛选:支持根据应用实体-实体ID目标源类型任务状态执行状态调度类型进行筛选。

    • 应用:通过标签离线服务所属于的应用进行筛选。

    • 实体-实体ID:通过标签离线服务中导出的标签的实体-实体ID进行筛选。

    • 目标源类型:通过标签离线服务的目标数据源类型进行筛选。

    • 任务状态:通过标签离线服务的任务状态进行筛选。包括编辑中发布中发布失败已发布已下线下线中下线失败未知状态

    • 执行状态:通过标签离线服务的最近一次执行状态进行筛选。包括未运行、运行中、任务出错

    • 调度类型:通过标签离线服务的调度类型进行筛选。包括周期调度手动调度

功能区

  • 新建离线服务:单击新建离线服务进行创建标签离线服务。具体操作,请参见新建标签离线服务

  • 刷新:单击image..png可刷新当前标签离线服务列表及刷新任务状态。

标签离线服务列表

标签离线服务页面以列表形式为您展示创建的标签离线服务,包括任务名负责人应用名实体实体ID任务状态执行状态标签目标源类型目标表调度类型创建时间以及支持的操作。标签离线服务支持的管理操作详情如下:

  • 详情:单击image.png可查看当前标签离线服务详情信息。

  • 查看实例:单击image.png可查看当前标签离线服务生成的执行实例。

  • 下线:单击image.png可下线当前标签离线服务。

  • 编辑:对应发布失败的标签离线服务,可以单击image.png进行编辑后重新发布。

  • 删除:单击image..png可删除当前标签离线服务。

  • 运行:对于调度类型为手动调度的任务,可以单击image.png并在运行对话框中选择业务日期手动运行。

    说明

    仅支持删除已下线发布失败的标签离线服务。

新建标签离线服务

  1. 在Dataphin首页,单击顶部菜单栏的标签。默认进入资产市场页面。

  2. 按照下图操作指引,进入新建离线服务配置页面。

    image.png

  3. 新建离线服务配置页中,配置参数。

    参数

    描述

    基本信息

    任务名

    命名规则:

    允许中英文、数字、下划线(_), 64字符以内。

    应用选择

    选择已关联项目的应用。

    负责人

    选择该离线服务的负责人。

    实体

    选择离线服务对应的实体名称。

    实体ID选择

    选择实体对应的ID名称。

    说明

    字段映射处输入标签可选标签范围将基于选择的实体ID进行过滤。

    描述

    填写简单描述信息,1000字符以内。

    字段映射

    目标数据源

    选择离线服务对应的目标数据源。目标数据源可为离线服务的项目或在Dataphin创建的MySQLOracleAnalyticDB for PostgreSQLGreenplum数据源。

    说明

    项目的目标数据源仅支持当前账号加入的项目(通用标签项目)且项目生产账号具有同步写权限。

    若无所需数据源,您可以单击+新建数据源进行创建。

    说明

    仅支持超级管理员数据源管理员板块架构师项目管理员进行创建。

    目标表

    选择目标数据源中的目标表。

    • 目标数据源为项目时可输入目标表名称,系统将自动创建目标表。目标表名称必须以字母开头,允许小写英文字母、数字、下划线(_),64字符以内。

    • 目标数据源为数据源时,可以选择目标数据源中的目标表。若无对应目标表,选择输入标签后,可以单击image.png创建所需的目标表。如下图所示:

      image.png

      说明
      • 在系统生成的建表语句中,请确认表名、字段类型、精度等是否符合需求后再单击新建

      • 表名默认为来源表的表名,表备注默认为来源表的备注,可以按需修改。

      • 系统生成的建表语句参考来源表的字段类型、长度并进行了初步的转换,可以按需修改。

      • 目标数据源类型为AnalyticDB for PostgreSQL时,不支持选择分区表。

    加载策略

    目标数据源为MySQL、Oracle数据源时,仅支持覆盖策略加载策略;覆盖数据策略下,当主键/约束冲突时,会先删除原数据,再插入整行新数据。

    输入标签

    勾选实体下需要进行映射的标签,并单击image按钮进行数据源字段映射关系配置。

    映射关系

    系统显示已选的标签及其映射字段关系,需选择输出标签映射的映射字段。

    说明
    • 单击image.png支持将相同名称的标签及其映射字段进行关联。

    • 单击image.png支持将已映射关系进行清除。

    运维配置

    调度周期

    在特定时间范围内进行任务调度的周期。支持按日调度。标签离线任务将按照配置的调度时间按日调度运行。

  4. 单击发布,即可完成标签离线任务创建。

  • 本页导读 (0)
文档反馈