配置Redis输出组件,可以将外部数据库中读取的数据写入到Redis,或从大数据平台对接的存储系统中将数据复制推送至Redis,进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。
前提条件
在开始执行操作前,请确认您已完成以下操作:
已创建Redis数据源。具体操作,请参见创建Redis数据源。
进行Redis输出属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限。具体操作,请参见申请、续期和交还数据源权限。
操作步骤
请参见离线管道组件开发入口,进入离线管道脚本开发页面。
按照下图操作指引,进入Redis输出配置对话框。
在Redis输出配置对话框,按照下表配置参数。
参数
描述
基本配置
步骤名称
命名规则如下:
仅支持中文、字母、数字及下划线(_)。
最多输入64个字符。
数据源
选择Dataphin已配置的Redis数据源。同时您可以单击数据源后的新建,进入规划模块新建数据源。具体操作,请参见创建Redis数据源。
进行属性配置的账号需具备该数据源的同步写权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
DB
集群模式下无需填写DB;单机模式需指定DB,范围0-255整数,默认0。
键列
请选择作为Key的列。
键分隔符
写入键的分隔符,当键列大于一个时生效,如:
\u0001
,支持多字符分隔符。写入数据类型
请选择写入Redis的Value类型。
写入模式
请选择写入模式。
是否写入JSON格式
仅支持写入数据类型为String类型配置。选择是,将以配置的映射关系将Value列的列名与值以JSON格式写入目标Redis。选择否,将以值分隔符分隔Value写入。
值分隔符
写入值的分隔符,如:
\u0001
,支持多字符分隔符。高级配置
缓存实效时间
缓存失效时间支持有效时长、失效时间-常量或失效时间-从字段选取时。
有效时长:需输入数据有效时长秒数。
失效时间-常量:需选择失效时间,该时刻后数据失效。
失效时间-从字段选取时:需选择失效时间列的字段,该时刻后数据失效。
写入超时时间
写入Redis的超时时间,默认300,单位秒。
key前缀
可配置字符串作为Key的前缀,支持中英文、数字和下划线(_)。
字段映射
输入字段
展示上游的输入字段。
输出字段
为您展示输出字段。 支持手动添加输出字段。
单击批量添加 ,支持以JSON格式和TEXT格式批量配置,示例如下。
JSON格式
"column":[ { "index":5, "name":"test1", "type":"STRING" }, { "index":2, "name":"partition", "type":"STRING" } ]
TEXT格式
paper_no,String phone_no,String vip_no,String
行分隔符:行分隔符用于分隔每个字段的信息,默认为换行符(\n),可支持
\n ; .
。列分隔符:列分隔符用于分隔字段名与字段类型,默认英文逗号,可支持(,)字段类型可缺省,默认为(,)。
同时您也可以对已添加的字段执行如下操作:
单击操作列下的图标,编辑已有的字段。
单击操作列下的图标,删除已有的字段。
映射关系
根据上游的输入和目标表的字段,可以手动选择字段映射。快速映射包括同名映射和同行映射。
单击确认,完成Redis输出组件配置。