阿里云关系型数据库(Relational Database Service,简称RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。

详情请参见创建云数据库RDS版维表

配置面板说明

参数 注释说明 备注
血缘表名(任务唯一) 任务中表的唯一标志,不能与任务中其它血缘表重名。
地址 RDS的URL地址。 详情请参见RDS的URL地址
表名 输入相应的表名。
用户名 输入相应的用户名。
密码 输入相应的密码。
数据同步 从元数据中心读取指定表名的元数据,帮助填充输出字段和其它元信息的表单项。
选择输出字段 从维表中读取输出到下游组件的字段列表。
最大尝试插入次数 可以尝试插入的最大次数。
缓存策略 缓存策略。 包括NoneLRUALL三种缓存策略。
缓存大小 缓存大小。 选择LRU缓存策略后,可以设置缓存大小。
缓存超时时间 缓存超时时间,单位为毫秒。
  • 选择LRU缓存策略后,可以设置缓存失效的超时时间,默认不过期。
  • 选择ALL策略,则为缓存reload的间隔时间,默认不重新加载。
更新时间黑名单 缓存策略选择ALL时启用。更新时间黑名单,防止在此时间内进行cache更新(例如双11场景)。 自定义输入格式如下所示:
2017-10-24 14:00 -> 2017-10-24 15:00, 2017-11-10 23:30 -> 2017-11-11 08:00
用逗号(,)分隔多个黑名单,用箭头(->)分隔黑名单的起始结束时间。
primaryKey 指定输出字段中作为主键的字段。
  • 声明一个维表时,必须要指明主键。
  • 维表JOIN时,ON的条件必须包含所有主键的等值条件。
  • RDS或DRDS的主键可以定义为表的主键或唯一索引列。

说明

  • 目前RDS/DRDS提供以下三种缓存策略:
    • None:无缓存。
    • LRU:最近使用策略缓存。需要配置相关参数:缓存大小(cacheSize)和缓存超时时间(cacheTTLMs)。
    • ALL:全量缓存策略。

    Job运行前,会将远程表中所有数据load到内存中,之后所有的维表查询都会通过cache进行。cache命中不到则不存在数据,并在缓存过期后重新加载一遍全量缓存。全量缓存策略适合远程表数据量小、miss key多的场景。全量缓存的配置包括缓存更新间隔(cacheTTLMs)和更新时间黑名单(cacheReloadTimeBlackList)。

  • 由于异步reload,使用cache all时,需要将维表JOIN的节点增加一些内存,增加的内存大小为远程表两倍的数据量。
  • 使用cache all,请特别注意节点的内存,防止内存溢出。