Dataphin支持通过批量查询接口,分页查询群组ID及标签值。群组分页查询需要将群组及标签的数据导出到Elasticsearch数据源中,通过系统提供的API即可分页查询导出的群组ID及其标签值。本文将指导您如何创建及管理群组分页查询。
前提条件
创建群组分页查询服务前,已在群组资产市场选择所需群组并申请使用权限至服务所在应用。具体操作,请参见申请标签或群组权限。
已创建群组分页查询服务关联的应用。具体操作,请参见新建应用。
已配置用于提供查询服务的Elasticsearch数据源。具体操作,请参见创建Elasticsearch数据源。
注意事项
群组分页服务运行后,系统会先删除目标索引中的数据,然后写入新的数据。因此在群组分页服务运行开始到完成前,分页查询的结果为空,该结果不正确。
若群组分页查询中的标签已从群组分页中删除,查询时则会返回空值。若需替换标签,建议先保留原始标签,再增加新标签,等待调用的应用修改完成后删除需要移出的标签。
行为偏好标签暂不支持导出。
群组分页查询概览
群组分页查询页面主要由功能区、筛选区、群组分页查询服务列表组成。您可以在群组分页查询服务页面对创建的群组分页查询服务进行相关的管理操作。
区域 | 说明 |
①操作区 |
|
②群组分页查询服务列表 | 群组分页查询服务页面以列表形式为您展示创建的群组分页查询服务,包括任务名、负责人、应用名、群组名、实体、实体ID、任务状态、执行状态、目标源类型、目标表、调度类型、创建时间以及支持的操作。群组分页查询服务支持的管理操作详情如下:
|
新建群组分页查询服务
在Dataphin首页,在顶部菜单栏选择标签 > 标签应用。
单击左侧导航栏中的群组分页查询。在群组分页查询页面,单击新建查询服务。
在新建查询服务配置页中,配置参数信息。
参数
说明
基本信息
任务名
填写任务名称。
必须以小写英文字母开头,且仅包含小写英文字母、数字和下划线(_)。长度不超过64个字符。
应用选择
选择已关联项目的应用。
说明只有已经关联项目的应用才能创建离线服务。
仅支持选择具备权限的应用。
负责人
选择该离线服务的负责人。
调度类型
支持周期调度和手动调度任务类型。
手动调度:一次集成,任务发布后可在任务列表页选择手动执行。
周期调度:调度执行,根据配置周期调度执行。
描述
填写简单描述信息,长度不超过1000个字符。
字段映射
群组选择
选择需要进行分页查询的群组。
是否需要同步标签
默认为否,仅同步群组的实体ID;若选择是,则可以在输入标签中选择需要同步的标签。
目标数据源
支持选择Elasticsearch类型的数据源实例。
索引
选择目标数据源Elasticsearch的索引。若无对应索引,选择输入标签后,可以单击并在创建索引对话框中创建所需的索引。
在创建索引对话框中,配置索引信息。
索引名称:输入索引名称。
不能以短划线(-)、下划线(_)或加号(+)开头。
不支持中文、大写英文字母、正斜线(/)、反斜线(\)、竖线(|)、星号(*)、半角问号(?)、半角冒号(:)、半角句号(.)、半角引号(")、井号(#)、尖括号(<>)和空格。
长度不超过255个字符。
映射字段:输入字段名称并选择字段类型,可添加多个字段。
字段名称:必须以小写英文字母开头,且仅包含小写英文字母、数字和下划线(_)。长度不超过64个字符。
字段类型:选择对应字段的字段类型。
说明若标签有码表时,系统将会默认创建标签的代码名称。
单击确定。
加载策略
默认使用覆盖策略,不支持修改。
输入标签
勾选需要进行映射的标签,并单击按钮进行字段映射关系配置。
说明仅当选择需要同步标签时才需配置此项。
仅支持应用已经获取权限的群组实体ID的相关标签。
群组分页服务暂不支持导出行为偏好类标签。
映射关系
系统显示已选的标签及其映射字段关系,需选择输出标签映射的映射字段。
说明仅当选择需要同步标签时才需配置此项。
单击支持将相同名称的标签及其映射字段进行关联。
单击支持将已映射关系进行清除。
运维配置
调度周期
在特定时间范围内进行任务调度的周期。支持按日调度。标签离线任务将按照配置的调度时间按日调度运行。
重要开始运行后,索引中的数据将被删除,在任务运行成功写入新的数据前,分页查询结果为空,该服务为不可用状态。建议您将调度时间设置为业务不使用的时间,或通知到使用方可用时间。
单击发布,即可完成群组分页服务的创建。