通过事件预加工创建实时数据集

Dataphin标签支持通过事件预加工方式对事件进行预加工,将加工结果作为数据集指标。本文将指导您如何通过事件预加工方式创建和配置实时数据集。

前提条件

  • 创建实时数据集前需创建用于实时数据集开发的事件。更多信息,请参见新增事件

  • 创建实时数据集前需请先创建数据集所归属的标签项目。更多信息,请参见创建标签项目

    重要

    通过事件预加工新建实时数据集需在项目中添加实时计算源。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏的标签。默认进入资产市场板块页面。

  2. 按照以下操作指引,进入新增实时数据集对话框。

    单击工作台->选择项标签项目->单击实时数据集->单击新增数据集

    image

  3. 新增实时数据集对话框中单击选择事件预加工

    image

  4. 新增事件预加工配置页面,配置数据集的基本信息。

    参数

    描述

    数据集名称

    填写数据集的名称信息。支持中英文、数字、下划线(_),需在64个字符以内。

    数据集code

    实时数据集的唯一标识。支持中英文、数字、下划线(_),需在64个字符以内。

    负责人

    请选择该实时数据集的负责人。

    描述

    填写实时数据集的简单描述,1000个字符以内。

  5. 配置实时数据集的加工逻辑

    参数

    描述

    事件列表

    选择您需定义数据集的事件名称。事件创建,请参见新增事件

    主键

    完成事件选择后,您可勾选定义数据集的对应主键。

    说明

    主键默认只能勾选字符型长整型的表字段。

    累积客体

    请选择您需进行加工的客体表字段并选择所需的查询函数与时间窗口,系统将根据选择自动识别返回类型。

    • 查询函数根据客体字段类型支持不同的查询函数。

      • 长整型:计数(count)、取和(sum)、取最大值(max)、取最小值(min)。

      • 字符串:计数(count)、取最大值(max)、取最小值(min)。

    • 时间窗口支持:最近10分钟、最近30分钟、最近1小时、最近6小时、最近12小时、自定义。

    若您需要添加多个累积客体,您可单击添加按钮进行新增。

    过滤条件

    若您需对表字段数据进行过滤。您可使用筛选条件进行过滤。过滤条件支持:大于等于、大于、小于等于、小于、不为空、为空、在范围中、不在范围中、或、与、晚于、晚于等于、早于、早于等于

    若您需多个过滤条件,您可单击新增筛选条件进行新增。存在多个筛选条件时,支持或、且2个逻辑运算。

    • 或:满足其中一个筛选条件时进行过滤。

    • 且:需同时满足所有筛选条件才能进行过滤。

  6. 单击发布,完成实时数据集创建。

后续步骤

完成实时数据集的创建和发布后,您可为您的实时数据集创建对应的实时标签。具体操作,请参见实时标签概述