创建及管理群组分页查询

Dataphin支持通过批量查询接口,分页查询群组ID及标签值。群组分页查询需要将群组及标签的数据导出到Elasticsearch数据源中,通过系统提供的API即可分页查询导出的群组ID及其标签值。本文将指导您如何创建及管理群组分页查询。

前提条件

  • 创建群组分页查询服务前,已在群组资产市场选择所需群组并申请使用权限至服务所在应用。具体操作,请参见申请标签或群组权限

  • 已创建群组分页查询服务关联的应用。具体操作,请参见新建应用

  • 已配置用于提供查询服务的Elasticsearch数据源。具体操作,请参见创建Elasticsearch数据源

注意事项

  • 群组分页服务运行后,系统会先删除目标索引中的数据,然后写入新的数据。因此在群组分页服务运行开始到完成前,分页查询的结果为空,该结果不正确。

  • 若群组分页查询中的标签已从群组分页中删除,查询时则会返回空值。若需替换标签,建议先保留原始标签,再增加新标签,等待调用的应用修改完成后删除需要移出的标签。

  • 行为偏好标签暂不支持导出。

群组分页查询概览

群组分页查询页面主要由功能区、筛选区、群组分页查询服务列表组成。您可以在群组分页查询服务页面对创建的群组分页查询服务进行相关的管理操作。

image

区域

说明

操作区

  • 只看我的:选中后系统将筛选当前账号所创建的群组分页查询服务。

  • 搜索:支持通过输入群组分页查询服务名称来搜索群组分页查询服务。

  • 筛选支持通过应用名实体实体ID目标源类型任务状态执行状态调度类型进行筛选。

    • 任务状态:包含编辑中发布中发布失败已发布已下线下线中下线失败未知状态

    • 执行状态:包含未运行、运行中、任务出错运行成功

    • 调度类型:包含周期调度手动调度

  • 新建查询服务:单击新建查询服务进行创建群组分页查询服务。具体操作,请参见新建群组分页查询服务

  • 刷新:单击image..png可刷新当前群组分页查询服务列表。

群组分页查询服务列表

群组分页查询服务页面以列表形式为您展示创建的群组分页查询服务,包括任务名负责人应用名群组名实体实体ID任务状态执行状态目标源类型目标表调度类型创建时间以及支持的操作。群组分页查询服务支持的管理操作详情如下:

  • 编辑:对于任务运行状态为发布失败、已发布、已下线的群组分页查询服务,可以单击image.png图标进行编辑后重新发布。

  • 详情:单击image.png图标可查看当前群组分页查询服务详情信息。

  • 查看实例:单击image.png图标可查看当前群组分页查询服务生成的执行实例。

  • 删除:单击image..png图标可删除当前群组分页查询服务。

    说明

    仅支持删除已下线发布失败的群组分页查询服务。

  • 下线:单击image.png图标可下线当前群组分页查询服务。

    说明

    下线服务不会删除目标数据源中的目标表及中间临时表。

  • 补数据:对于调度类型为周期调度已发布的任务,可单击image图标可进行补数据。默认补T-1的数据,即业务日期为昨天的数据。

  • 运行:对于调度类型为手动调度已发布的任务,可单击image.png并在运行对话框中选择业务日期手动运行。

  • 查看调用代码:查看分页查询服务的请求路径和调用代码。

新建群组分页查询服务

  1. 在Dataphin首页,在顶部菜单栏选择标签 > 标签应用

  2. 单击左侧导航栏中的群组分页查询。在群组分页查询页面,单击新建查询服务

    image

  3. 新建查询服务配置页中,配置参数信息。

    参数

    说明

    基本信息

    任务名

    填写任务名称。

    必须以小写英文字母开头,且仅包含小写英文字母、数字和下划线(_)。长度不超过64个字符。

    应用选择

    选择已关联项目的应用。

    说明
    • 只有已经关联项目的应用才能创建离线服务。

    • 仅支持选择具备权限的应用。

    负责人

    选择该离线服务的负责人。

    调度类型

    支持周期调度和手动调度任务类型。

    • 手动调度:一次集成,任务发布后可在任务列表页选择手动执行。

    • 周期调度:调度执行,根据配置周期调度执行。

    描述

    填写简单描述信息,长度不超过1000个字符。

    字段映射

    群组选择

    选择需要进行分页查询的群组。

    是否需要同步标签

    默认为,仅同步群组的实体ID;若选择,则可以在输入标签中选择需要同步的标签。

    目标数据源

    支持选择Elasticsearch类型的数据源实例。

    索引

    选择目标数据源Elasticsearch的索引。若无对应索引,选择输入标签后,可以单击image.png并在创建索引对话框中创建所需的索引。

    1. 创建索引对话框中,配置索引信息。

      • 索引名称:输入索引名称。

        • 不能以短划线(-)、下划线(_)或加号(+)开头。

        • 不支持中文、大写英文字母、正斜线(/)、反斜线(\)、竖线(|)、星号(*)、半角问号(?)、半角冒号(:)、半角句号(.)、半角引号(")、井号(#)、尖括号(<>)和空格。

        • 长度不超过255个字符。

      • 映射字段:输入字段名称并选择字段类型,可添加多个字段。

        • 字段名称:必须以小写英文字母开头,且仅包含小写英文字母、数字和下划线(_)。长度不超过64个字符。

        • 字段类型:选择对应字段的字段类型。

        说明

        若标签有码表时,系统将会默认创建标签的代码名称。

    2. 单击确定

    加载策略

    默认使用覆盖策略,不支持修改。

    输入标签

    勾选需要进行映射的标签,并单击image按钮进行字段映射关系配置。

    说明
    • 仅当选择需要同步标签时才需配置此项。

    • 仅支持应用已经获取权限的群组实体ID的相关标签。

    • 群组分页服务暂不支持导出行为偏好类标签。

    映射关系

    系统显示已选的标签及其映射字段关系,需选择输出标签映射的映射字段。

    说明
    • 仅当选择需要同步标签时才需配置此项。

    • 单击image.png支持将相同名称的标签及其映射字段进行关联。

    • 单击image.png支持将已映射关系进行清除。

    运维配置

    调度周期

    在特定时间范围内进行任务调度的周期。支持按日调度。标签离线任务将按照配置的调度时间按日调度运行。

    重要

    开始运行后,索引中的数据将被删除,在任务运行成功写入新的数据前,分页查询结果为空,该服务为不可用状态。建议您将调度时间设置为业务不使用的时间,或通知到使用方可用时间。

  4. 单击发布,即可完成群组分页服务的创建。