Dataphin支持通过批量标签查询服务,输出标签表给到下游应用系统。本文将指导您如何新建标签离线任务。
限制说明
标签离线服务发布后,不支持修改。
为保障数据的高可用,运行标签离线服务时,系统会将数据写入临时表({目标表}_dpfx_b);写入完成后,将原目标表进行重命名({目标表}_dpfx_tmp),目标表重命名后将临时表重命名为目标表;最后删除原目标表({目标表}_dpfx_tmp)。在重命名原目标表完成后到将临时表重命名为目标表完成前,数据将存在短暂不可用时间。
前提条件
标签离线服务概览
标签离线服务页面主要由筛选与搜索区、功能区、标签离线服务列表组成。您可以在标签离线服务页面对创建的标签离线服务进行相关的管理操作。
区域 | 描述 |
①筛选与搜索区 |
|
②功能区 |
|
③标签离线服务列表 | 标签离线服务页面以列表形式为您展示创建的标签离线服务,包括任务名、负责人、应用名、实体、实体ID、任务状态、执行状态、标签、目标源类型、目标表、调度类型、创建时间以及支持的操作。标签离线服务支持的管理操作详情如下:
|
新建标签离线服务
在Dataphin首页,单击顶部菜单栏的标签。默认进入资产市场页面。
按照下图操作指引,进入新建离线服务配置页面。
在新建离线服务配置页中,配置参数。
参数
描述
基本信息
任务名
命名规则:
允许中英文、数字、下划线(_), 64字符以内。
应用选择
选择已关联项目的应用。
负责人
选择该离线服务的负责人。
实体
选择离线服务对应的实体名称。
实体ID选择
选择实体对应的ID名称。
说明字段映射处输入标签可选标签范围将基于选择的实体ID进行过滤。
描述
填写简单描述信息,1000字符以内。
字段映射
目标数据源
选择离线服务对应的目标数据源。目标数据源可为离线服务的项目或在Dataphin创建的MySQL、Oracle、AnalyticDB for PostgreSQL、Greenplum数据源。
说明项目的目标数据源仅支持当前账号加入的项目(通用与标签项目)且项目生产账号具有同步写权限。
若无所需数据源,您可以单击+新建数据源进行创建。
说明仅支持超级管理员、数据源管理员、板块架构师、项目管理员进行创建。
目标表
选择目标数据源中的目标表。
目标数据源为项目时可输入目标表名称,系统将自动创建目标表。目标表名称必须以字母开头,允许小写英文字母、数字、下划线(_),64字符以内。
目标数据源为数据源时,可以选择目标数据源中的目标表。若无对应目标表,选择输入标签后,可以单击创建所需的目标表。如下图所示:
说明在系统生成的建表语句中,请确认表名、字段类型、精度等是否符合需求后再单击新建。
表名默认为来源表的表名,表备注默认为来源表的备注,可以按需修改。
系统生成的建表语句参考来源表的字段类型、长度并进行了初步的转换,可以按需修改。
目标数据源类型为AnalyticDB for PostgreSQL时,不支持选择分区表。
加载策略
目标数据源为MySQL、Oracle数据源时,仅支持覆盖策略加载策略;覆盖数据策略下,当主键/约束冲突时,会先删除原数据,再插入整行新数据。
输入标签
勾选实体下需要进行映射的标签,并单击按钮进行数据源字段映射关系配置。
映射关系
系统显示已选的标签及其映射字段关系,需选择输出标签映射的映射字段。
说明单击支持将相同名称的标签及其映射字段进行关联。
单击支持将已映射关系进行清除。
运维配置
调度周期
在特定时间范围内进行任务调度的周期。支持按日调度。标签离线任务将按照配置的调度时间按日调度运行。
单击发布,即可完成标签离线任务创建。
- 本页导读 (0)