Redis Writer是基于数据集成框架实现的Redis写入插件,可以通过Redis Writer从数仓或者其它数据源导入数据至Redis。

Redis(REmote DIctionary Server)是一个可以基于内存也可以持久化的日志型、高性能、支持网络的key-value存储系统,可以用作数据库、高速缓存和消息队列代理。Redis支持较丰富的存储value类型,包括String(字符串)、List(链表)、Set(集合)、ZSet(sorted set有序集合)和Hash(哈希类型)。Redis详情请参见redis.io

Redis Writer与Redis Server之间的交互基于Jedis实现,Jedis是Redis官方首选的Java客户端开发包。
说明
  • 当前仅支持向集群化(Cluster)部署的Redis中导入数据,且数据导入过程仅支持使用独享数据集成资源组
  • 开始配置Redis Writer插件前,请首先配置好数据源,详情请参见配置Redis数据源
  • 使用Redis Writer向Redis写入数据时,如果Value类型是List,重跑同步任务的同步结果不是幂等的。因此,如果Value类型是List ,重跑同步任务时,需要您手动清空Redis上相应的数据。

参数说明

参数 描述 是否必选 默认值
expireTime Redis value值缓存失效时间,单位为秒。如果不填该配置项,则该配置项取值为默认值0,表示永久有效。
expireTime的配置方式有以下两种:
  • seconds方式:指定了从现在开始多长时间后数据失效,取值是失效时间相对当前时间的秒数。
  • unixtime方式:指定了从1970.1.1开始多长时间后数据失效。取值是失效时间相对1970.1.1时间的秒数。
    说明 如果expireTime的取值大于60*60*24*30(即失效时间超过30天),则服务端均将expireTimeunixtime方式进行配置。
0(0表示永久有效)
keyFieldDelimiter 写入Redis的Key分隔符。例如key=key1\u0001id,如果有多个Key需要拼接时,该值为必填项。如果只有一个Key,则可以忽略该配置项。 \u0001
dateFormat 写入Redis时,Date的时间格式为yyyy-MM-dd HH:mm:ss
datasource 数据源名称。该配置项填写的内容必须与添加的数据源名称保持一致。
writeMode Redis Writer写入Redis的value类型包含以下5种:
  • 字符串(string)
  • 字符串列表(list)
  • 字符串集合(set)
  • 有序字符串集合(zset)
  • 哈希(hash)
不同的value类型,writeMode配置会略有差异,详细说明可参见writeMode参数说明
说明 配置Redis Writer时,您需要配置writeMode为支持的5种写入数据类型中的1种类型,且只能配置1种。如果您没有配置,则writeMode取值为默认值string
string
keyIndexes 指定作为key的源端列的列序号。列序号从0开始(即第1列的序号是0,第2列的序号是1,依次类推)。
  • 源端的某一列作为Redis的key时:配置为对应列的序号即可,例如,第1列作为key,则配置为0
  • 源端的连续多列组合作为Redis的key时:配置为对应多列的序号数组,例如,第2列至第4列组合作为key,则配置为[1,3]
说明 配置keyIndexes后,Redis Writer会将其余的列作为Value。如果您只想同步源表的某几列作为Key,某几列作为Value,则无需同步所有字段,在Reader插件端指定好column进行列筛选即可。
batchSize 一次性批量提交的记录数大小。该值可以极大减少数据同步系统与Redis的网络交互次数,并提升整体吞吐量。如果该值设置过大,会导致数据同步运行进程OOM异常。 1,000
timeout 写入Redis的超时时间,单位为毫秒。 30,000
redisMode Redis的模式。当前仅支持集群部署模式的Redis,此配置项需配置为ClusterMode
说明 仅支持使用独享数据集成资源组。

writeMode参数说明

配置Redis Writer时,您需要配置writeMode为支持的5种写入数据类型中的1种类型,且只能配置1种。如果您没有配置,则writeMode取值为默认值string
value类型 type参数(必选) mode参数(必选) valueFieldDelimiter参数(非必选) writeMode配置样例
字符串(string) type需配置为string mode为写入模式参数,value为字符串(string)时:
  • mode需配置为set
  • 如果需存储的数据已经存在,则覆盖原有的数据。
valueFieldDelimiter为value之间的分隔符,默认值为\u0001
  • 该配置项主要用于源数据每行超过两列的情况,例如有三列时,各列通过分隔符分割样例为value1\u0001value2\u0001value3
  • 如果源数据只有两列(即key和value)时,则无需配置。
"writeMode":{
        "type": "string",
        "mode": "set",
        "valueFieldDelimiter": "\u0001"
        }
字符串列表(list) type需配置为list mode为写入模式参数,value为字符串列表(list)时,可配置为:
  • lpush,表示在list最左边存储数据。
  • rpush,表示在list最右边存储数据。
"writeMode":{
    "type": "list",
    "mode": "lpush|rpush",
    "valueFieldDelimiter": "\u0001"
}
字符串集合(set) type需配置为set mode为写入模式参数,value为字符串集合(set)时:
  • mode需配置为sadd,表示向set集合中存储数据。
  • 如果需存储的数据已经存在,则覆盖原有的数据。
"writeMode":{
        "type": "set",
        "mode": "sadd",
        "valueFieldDelimiter": "\u0001"
        }
有序字符串集合(zset) type需配置为zset mode为写入模式参数,value为有序字符串集合(zset)时:
  • mode需配置为zadd,表示向zset有序集合中存储数据。
  • 如果需存储的数据已经存在,则覆盖原有的数据。
无需配置此参数。
"writeMode":{
        "type": "zset",
        "mode": "zadd"
        }
说明 当value类型为zset时,数据源的每行记录均需遵循相应的规范。即每行记录除key外,只能有1对score和value,并且score必须在value前面,Redis Writer方可解析出column对应的是score或value。
哈希(hash) type需配置为hash mode为写入模式参数,value为哈希(hash)时:
  • mode需配置为hset,表示向hash有序集合中存储数据。
  • 如果需存储的数据已经存在,则覆盖原有的数据。
无需配置此参数。
"writeMode":{
        "type": "hash",
        "mode": "hset"
        }
说明 当value类型为hash时,数据源的每行记录都需遵循相应的规范。即每行记录除key外,只能有1对attribute和value,并且attribute必须在value前面,Redis Writer方可解析出column对应的是attribute或value。

向导开发介绍

暂不支持向导开发模式。

脚本开发介绍

以下以读取MySQL数据并写入Redis为例,为您示例读取端MySQL Reader和写入端Redis Writer的脚本代码样例。写入Redis的数据同步作业,具体参数填写请参见参数说明
说明 通过脚本模式开发的通用流程可参见通过脚本模式配置任务
{
    "type":"job",
    "version":"2.0",  //版本号
    "steps":[
        { //以下为读取端代码样例,读取端的参数详情可查看对应数据源的Reader插件文档。
            "stepType":"mysql",   
            "parameter": {
                "envType": 0,
                "datasource": "xc_mysql_demo2",
                "column": [
                    "id",
                    "value",
                    "table"
                ],
                "connection": [
                    {
                        "datasource": "xc_mysql_demo2",
                        "table": []
                    }
                ],
                "where": "",
                "splitPk": "",
                "encoding": "UTF-8"
            },,
            "name":"Reader",
            "category":"reader"
        },
        {//以下为写入端代码样例。
            "stepType":"redis",                    //Redis Writer的插件名,配置为redis。
            "parameter":{                          //以下为Redis Writer的主要参数,各参数的配置详情可参见参数说明。
                "expireTime":{                     //Redis value值缓存失效时间,可配置为seconds类型或unixtime类型。"seconds":"1000"
                            }, 
                "keyFieldDelimiter":"u0001",       //写入Redis的key的分隔符。
                "dateFormat":"yyyy-MM-dd HH:mm:ss",//写入Redis时,Date的时间格式。
                "datasource":"xc_mysql_demo2",     //数据源名称,需与添加的数据源名称保持一致。
                "envType": 0,                      //环境类型,开发环境:1,生产环境:0。
                "writeMode":{                      //写入模式。
                    "type":"string"                //value类型。
                    "mode":"set",                  //value是某类型时,写入的模式。
                    "valueFieldDelimiter":"u0001", //value之间的分隔符。
                             },
                "keyIndexes":[0,1],                //用于源端到Redis的映射,指定源端需要作为key的列(第1列从0开始),如果源端第1列、第2列组合作为Redis的key,这里配置为[0,1]。
                "batchSize":"1000"                 //一次性批量提交的记录数大小。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"                           //错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}