配置Redis输出组件

配置Redis输出组件,可以将外部数据库中读取的数据写入到Redis,或从大数据平台对接的存储系统中将数据复制推送至Redis,进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。

前提条件

在开始执行操作前,请确认您已完成以下操作:

操作步骤

  1. 请参见离线管道组件开发入口,进入离线管道脚本开发页面。

  2. 按照下图操作指引,进入Redis输出配置对话框。

    image..png

  3. Redis输出配置对话框,按照下表配置参数。

    image..png

    参数

    描述

    基本配置

    步骤名称

    命名规则如下:

    • 仅支持中文、字母、数字及下划线(_)。

    • 最多输入64个字符。

    数据源

    选择Dataphin已配置的Redis数据源。同时您可以单击数据源后的新建,进入规划模块新建数据源。具体操作,请参见创建Redis数据源

    进行属性配置的账号需具备该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限

    DB

    集群模式下无需填写DB;单机模式需指定DB,范围0-255整数,默认0。

    键列

    请选择作为Key的列。

    键分隔符

    写入键的分隔符,当键列大于一个时生效,如:\u0001,支持多字符分隔符。

    写入数据类型

    请选择写入Redis的Value类型。

    入模式

    请选择写入模式。

    是否写入JSON格式

    仅支持写入数据类型为String类型配置。选择是,将以配置的映射关系将Value列的列名与值以JSON格式写入目标Redis。选择否,将以值分隔符分隔Value写入。

    值分隔符

    写入值的分隔符,如:\u0001,支持多字符分隔符。

    高级配置

    缓存实效时间

    缓存失效时间支持有效时长失效时间-常量失效时间-从字段选取时

    • 有效时长:需输入数据有效时长秒数。

    • 失效时间-常量:需选择失效时间,该时刻后数据失效。

    • 失效时间-从字段选取时:需选择失效时间列的字段,该时刻后数据失效。

    写入超时时间

    写入Redis的超时时间,默认300,单位秒。

    key前缀

    可配置字符串作为Key的前缀,支持中英文、数字和下划线(_)。

    字段映射

    输入字段

    展示上游的输入字段。

    输出字段

    为您展示输出字段。 支持手动添加输出字段。

    • 单击批量添加 ,支持以JSON格式和TEXT格式批量配置,示例如下。

      • JSON格式

        "column":[
                    {
                      "index":5,
                      "name":"test1",
                      "type":"STRING"
                    },
                    {
                      "index":2,
                      "name":"partition",
                      "type":"STRING"
                    }
                  ]
      • TEXT格式

        paper_no,String
        phone_no,String
        vip_no,String
        • 行分隔符:行分隔符用于分隔每个字段的信息,默认为换行符(\n),可支持\n ; .

        • 列分隔符:列分隔符用于分隔字段名与字段类型,默认英文逗号,可支持(,)字段类型可缺省,默认为(,)。

    同时您也可以对已添加的字段执行如下操作:

    • 单击操作列下的agag图标,编辑已有的字段。

    • 单击操作列下的agfag图标,删除已有的字段。

    映射关系

    根据上游的输入和目标表的字段,可以手动选择字段映射。快速映射包括同名映射同行映射

  4. 单击确认完成Redis输出组件配置