配置过滤转换组件

更新时间:2025-03-07 07:12:18

过滤转换组件支持将上游组件的输入字段进行过滤转换后输出至下游。本文为您介绍如何配置过滤转换组件。

操作步骤

  1. Dataphin首页顶部菜单栏,选择研发 > 数据集成

  2. 在集成页面顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。

  3. 在左侧导航栏中单击离线集成,在离线集成列表中单击需要开发的离线管道,打开该离线管道的配置页面。

  4. 单击页面右上角的组件库,打开组件库面板。

  5. 组件库面板左侧导航栏中需选择转换,在右侧的转换组件列表中找到过滤组件,并拖动该组件至画布。

  6. 单击并拖动目标输入或流程组件的image图标,将其连接至当前过滤组件上。

  7. 单击过滤组件卡片中的image图标,打开转换-过滤配置对话框。

  8. 转换-过滤配置对话框中,配置以下参数。

    参数

    描述

    参数

    描述

    步骤名称

    即过滤转换组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:

    • 只能包含中文、字母、下划线(_)、数字。

    • 不能超过64个字符。

    输入字段

    根据上游的输出,为您展示输入字段。

    筛选条件

    填写筛选条件。支持脚本模式和配置模式。

    • 脚本模式:通过脚本方式设置筛选条件。不需要填写WHERE,直接填写WHERE语句后内容。例如,user_id is not nulland name != 'xxx'

    • 配置模式:通过界面化方式设置筛选条件。

    支持的筛选条件包括=!=>>=<<=LIKENOT LIKEIS NULL、IS NOT NULLSTART WITHEND WITH。多个条件之间支持ANDOR逻辑运算符。

    例如:在输入字段中包含idnameds的情况下,需过滤id<123name不等于abc的数据。若使用脚本模式应填写id < 123 AND name != 'abc'语句;若通过界面化方式直接配置,则筛选条件应如下图所示。image

    重要

    LIKE操作符不支持使用(%)符号指定起始或结束字符,仅支持过滤出所有包含指定字符的数据。若需指定起始或结束字符,您可以使用START WITHEND WITH语句。例如,name START WITH '张' AND name END WITH '丰' 将过滤name字段起始字符为结束字符为的数据。

  9. 单击确认,完成过滤转换组件的属性配置。

  • 本页导读 (0)
  • 操作步骤