创建及管理群组分页查询

Dataphin支持通过批量查询接口,分页查询群组ID及标签值。群组分页查询需要将群组及标签的数据导出到Elasticsearch数据源中,通过系统提供的API即可分页查询导出的群组ID及其标签值。本文将指导您如何创建及管理群组分页查询。

前提条件

  • 创建群组分页查询服务前,已在群组资产市场选择所需群组并申请使用权限至服务所在应用。具体操作,请参见申请标签或群组权限

  • 已创建群组分页查询服务关联的应用。具体操作,请参见新建应用

  • 已配置用于提供查询服务的Elasticsearch数据源。具体操作,请参见创建Elasticsearch数据源

注意事项

  • 群组分页服务运行后,系统会先删除目标索引中的数据,然后写入新的数据。因此在群组分页服务运行开始到完成前,分页查询的结果为空,该结果不正确。

  • 若群组分页查询中的标签已从群组分页中删除,查询时则会返回空值。若需替换标签,建议先保留原始标签,再增加新标签,等待调用的应用修改完成后删除需要移出的标签。

  • 行为偏好标签暂不支持导出。

新建群组分页查询服务

  1. Dataphin首页的顶部菜单栏中,选择标签 > 标签应用

  2. 在左侧导航栏中选择服务管理 > 群组分页查询

  3. 群组分页查询页面,单击新建查询服务

  4. 新建查询服务配置页中,配置参数信息。

    参数

    说明

    基本信息

    任务名

    填写任务名称。

    必须以小写英文字母开头,且仅包含小写英文字母、数字和下划线(_)。长度不超过64个字符。

    应用选择

    选择已关联项目的应用。

    说明
    • 只有已经关联项目的应用才能创建离线服务。

    • 仅支持选择具备权限的应用。

    负责人

    选择该离线服务的负责人,可输入关键字搜索。

    调度类型

    支持周期调度和手动调度任务类型。

    • 手动调度:一次集成,任务发布后可在任务列表页选择手动执行。

    • 周期调度:调度执行,根据配置周期调度执行。

    描述

    填写简单描述信息,长度不超过1000个字符。

    字段映射

    群组选择

    选择需要进行分页查询的群组。

    是否需要同步标签

    默认为,仅同步群组的实体ID;若选择,则可以在输入标签中选择需要同步的标签。

    目标数据源

    支持选择Elasticsearch类型的数据源实例。

    索引

    选择目标数据源Elasticsearch的索引。若无对应索引,选择输入标签后,可以单击创建索引并在创建索引对话框中创建所需的索引。

    1. 创建索引对话框中,配置索引信息。

      • 索引名称:输入索引名称。

        • 不能以短划线(-)、下划线(_)或加号(+)开头。

        • 不支持中文、大写英文字母、正斜线(/)、反斜线(\)、竖线(|)、星号(*)、半角问号(?)、半角冒号(:)、半角句号(.)、半角引号(")、井号(#)、尖括号(<>)和空格。

        • 长度不超过255个字符。

      • 映射字段:输入字段名称并选择字段类型,可添加多个字段。

        • 字段名称:必须以小写英文字母开头,且仅包含小写英文字母、数字和下划线(_)。长度不超过64个字符。

        • 字段类型:选择对应字段的字段类型。

        说明

        若标签有码表时,系统将会默认创建标签的代码名称。

    2. 单击确定

    加载策略

    默认使用覆盖策略,不支持修改。

    输入标签

    勾选需要进行映射的标签,并单击image按钮进行字段映射关系配置。

    说明
    • 仅当选择需要同步标签时才需配置此项。

    • 仅支持应用已经获取权限的群组实体ID的相关标签。

    映射关系

    系统显示已选的标签及其映射字段关系,需选择输出标签映射的映射字段。

    • 同名映射:单击同名映射,将相同名称的标签及其映射字段进行关联。

    • 清除:单击image.png图标,将已映射关系清除。

    • 输出内容:选择已配置码表的标签的输出内容,可选择标签值代码名称。默认全选标签值。可选中输出标签列表下方的标签值代码名称进行全选(全部页面)。

    说明

    仅当选择需要同步标签时才需配置此项。

    运维配置

    调度周期

    在特定时间范围内进行任务调度的周期。支持按日调度。标签离线任务将按照配置的调度时间按日调度运行。

    重要

    开始运行后,索引中的数据将被删除,在任务运行成功写入新的数据前,分页查询结果为空,该服务为不可用状态。建议您将调度时间设置为业务不使用的时间,或通知到使用方可用时间。

  5. 单击发布,即可完成群组分页服务的创建。

管理群组分页查询

  1. 群组分页查询页面中展示任务名、负责人、应用名、群组名、实体、实体ID、任务状态、执行状态、调度类型以及支持的操作等信息。

  2. (可选)可通过选中只看我的、输入任务名称或单击筛选根据应用名实体-实体ID目标源类型任务状态执行状态调度类型进行筛选。

  3. 在群组分页查询页面列表的操作列中,可执行以下操作。

    操作项

    描述

    编辑

    任务状态不为发布中下线中时,可单击image.png图标,在编辑离线服务页面编辑后重新发布,不支持修改任务名、调度类型和加载策略。

    详情

    单击image.png图标,在查看离线服务页面查看当前标签离线服务的详细信息。任务状态为编辑中发布失败已发布已下线时,可单击页面底部的编辑,可编辑当前群组分页查询服务。

    查看实例

    单击image.png图标,可查看当前群组分页查询服务生成的执行实例。

    下线

    任务状态已发布下线失败的群组分页查询服务,可单击image.png下线图标,下线当前的群组分页查询服务。

    说明

    下线服务不会删除目标数据源中的目标表及中间临时表。

    补数据

    执行状态运行中状态的群组分页查询服务,可单击image补数据图标进行补数据,默认补业务日期为昨天(T-1)的数据。

    运行

    对于调度类型为手动调度的任务,可以单击image.png运行图标,在运行对话框中选择业务日期手动运行。

    查看调用代码

    查看分页查询服务的请求路径和调用代码。

    删除

    任务状态为已下线发布失败状态的群组分页查询服务,单击image..png删除图标可以删除当前群组分页查询服务。