配置Redis输出组件

配置Redis输出组件,可以将外部数据库中读取的数据写入到Redis,或从大数据平台对接的存储系统中将数据复制推送至Redis,进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。

前提条件

在开始执行操作前,请确认您已完成以下操作:

操作步骤

  1. Dataphin首页顶部菜单栏,选择研发 > 数据集成

  2. 在集成页面顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。

  3. 在左侧导航栏中单击离线集成,在离线集成列表中单击需要开发的离线管道,打开该离线管道的配置页面。

  4. 单击页面右上角的组件库,打开组件库面板。

  5. 组件库面板左侧导航栏中需选择输出,在右侧的输出组件列表中找到Redis组件,并拖动该组件至画布。

  6. 单击并拖动目标上游组件的image图标,将其连接至当前Redis输出组件上。

  7. 单击Redis输出组件卡片中的image图标,打开Redis输出配置对话框。

    未命名..gif

  8. Redis输出配置对话框,按照下表配置参数。

    参数

    描述

    基本设置

    步骤名称

    Redis输出组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:

    • 只能包含中文、字母、下划线(_)、数字。

    • 不能超过64个字符。

    数据源

    在数据源下拉列表中,展示所有Redis类型的数据源,包括您已拥有同步写权限的数据源和没有同步写权限的数据源。单击image图标,可复制当前数据源名称。

    • 对于没有同步写权限的数据源,您可以单击数据源后的申请,申请数据源的同步写权限。具体操作,请参见申请、续期和交还数据源权限

    • 如果您还没有Redis类型的数据源,单击新建数据源,创建数据源。具体操作,请参见创建Redis数据源

    DB

    集群模式下无需填写DB;单机模式需指定DB,范围0-255整数,默认0。

    键列

    请选择作为Key的列。

    键分隔符

    写入键的分隔符,当键列大于一个时生效,如:\u0001,支持多字符分隔符。

    写入数据类型

    请选择写入RedisValue类型。

    入模式

    请选择写入模式。

    是否写入JSON格式

    仅支持写入数据类型String类型配置。选择是,将以配置的映射关系将Value列的列名与值以JSON格式写入目标Redis。选择否,将以值分隔符分隔Value写入。

    值分隔符

    写入值的分隔符,如:\u0001,支持多字符分隔符。

    高级设置

    缓存实效时间

    缓存失效时间支持有效时长失效时间-常量失效时间-从字段选取时

    • 有效时长:需输入数据有效时长秒数。

    • 失效时间-常量:需选择失效时间,该时刻后数据失效。

    • 失效时间-从字段选取时:需选择失效时间列的字段,该时刻后数据失效。

    写入超时时间

    写入Redis的超时时间,默认300,单位秒。

    key前缀

    可配置字符串作为Key的前缀,支持中英文、数字和下划线(_)。

    字段映射

    输入字段

    展示上游的输入字段。

    输出字段

    为您展示输出字段。 支持手动添加输出字段。

    • 单击批量添加 ,支持以JSON格式和TEXT格式批量配置,示例如下。

      • JSON格式

        "column":[
                    {
                      "index":5,
                      "name":"test1",
                      "type":"STRING"
                    },
                    {
                      "index":2,
                      "name":"partition",
                      "type":"STRING"
                    }
                  ]
      • TEXT格式

        paper_no,String
        phone_no,String
        vip_no,String
        • 行分隔符:行分隔符用于分隔每个字段的信息,默认为换行符(\n),可支持\n ; .

        • 列分隔符:列分隔符用于分隔字段名与字段类型,默认英文逗号,可支持(,)字段类型可缺省,默认为(,)。

    同时您也可以对已添加的字段执行如下操作:

    • 单击操作列下的agag图标,编辑已有的字段。

    • 单击操作列下的agfag图标,删除已有的字段。

    映射关系

    根据上游的输入和目标表的字段,可以手动选择字段映射。快速映射包括同名映射同行映射

  9. 单击确认完成Redis输出组件配置