文档

从RDS MySQL数据库获取数据进行数据富化

更新时间:

日志服务数据加工功能支持从阿里云RDS MySQL数据库获取数据,结合数据加工规则,进行数据富化。

背景信息

在数据存储场景中,您可能经常遇到数据分散存储的问题,例如用户操作、行为等相关数据存储在日志服务中,用户属性、注册信息等相关数据存储在RDS MySQL数据库中。面对类似问题,您可以通过日志服务数据加工功能从RDS MySQL数据库获取数据,存储到日志服务Logstore中。

您可以使用res_rds_mysql函数从RDS MySQL数据库获取数据,然后使用e_table_map函数或e_search_table_map函数进行数据富化。

说明
  • RDS MySQL实例与日志服务Project需处于同一地域,否则无法获取数据。

  • 如果您要使用RDS内网地址访问RDS MySQL数据库获取数据,进行数据富化,可参见使用RDS内网地址访问RDS MySQL数据库

结合e_table_map函数进行数据富化

本示例介绍使用e_table_map函数和res_rds_mysql函数完成数据富化的方法。

  • 原始数据

    • RDS MySQL数据库表中的数据样例如下表所示。

      province

      city

      population

      cid

      eid

      上海

      上海

      2000

      1

      00001

      天津

      天津

      800

      1

      00002

      北京

      北京

      4000

      1

      00003

      河南

      郑州

      3000

      2

      00004

      江苏

      南京

      1500

      2

      00005

    • 日志服务Logstore中的日志样例如下所示。

      time:"1566379109"
      data:"test-one"
      cid:"1"
      eid:"00001"
      
      time:"1566379111"
      data:"test_second"
      cid:"1"
      eid:"12345"
      
      time:"1566379111"
      data:"test_three"
      cid:"2"
      eid:"12345"
      
      time:"1566379113"
      data:"test_four"
      cid:"2"
      eid:"12345"
  • 加工规则

    通过日志服务Logstore中的cid字段和RDS MySQL数据库表中cid字段进行匹配,只有cid字段的值完全相同,才能匹配成功。匹配成功后,返回RDS MySQL数据库表中的provincecitypopulation字段和字段值,与Logstore中的数据拼接,生成新的数据。

    说明
    • 日志字段的值和RDS MySQL数据库表字段的值进行等值匹配时,如果RDS MySQL数据库表字段存在多个相同的值(例如RDS MySQL数据库表有多个值为1cid字段。),e_table_map函数只获取匹配到的第一行数据。

    • e_table_map函数只支持单行匹配,如果您要实现多行匹配,将匹配到的数据组合成新的日志,可使用e_search_table_map函数,详情请参见结合e_search_map_table函数进行数据富化

    e_table_map(res_rds_mysql(address="rds-host", username="mysql-username",password="xxx",database="xxx",table="xx",refresh_interval=60),"cid",["province","city","population"])

    在res_rds_mysql函数中配置RDS MySQL数据库相关信息,详情请参见res_rds_mysql

  • 加工结果

    time:"1566379109"
    data:"test-one"
    cid:"1"
    eid:"00001"
    province:"上海"
    city:"上海"
    population:"2000"
    
    time:"1566379111"
    data:"test_second"
    cid:"1"
    eid:"12345"
    province:"上海"
    city:"上海"
    population:"2000"
    
    time:"1566379111"
    data:"test_three"
    cid:"2"
    eid:"12345"
    province:"河南"
    city:"郑州"
    population:"3000"
    
    time:"1566379113"
    data:"test_four"
    cid:"2"
    eid:"12345"
    province:"河南"
    city:"郑州"
    population:"3000"

结合e_search_map_table函数进行数据富化

本示例介绍使用e_search_map_table函数和res_rds_mysql函数完成数据富化的方法。

  • 原始数据

    • RDS MySQL数据库表中的数据样例如下表所示。

      content

      name

      age

      city~=n*

      aliyun

      10

      province~=su$

      Maki

      18

      city:nanjing

      vicky

      20

    • 日志服务Logstore中的日志样例如下所示。

      time:1563436326
      data:123
      city:nanjing
      province:jiangsu
  • 加工规则

    根据指定的RDS MySQL数据库表中的字段值(例如content字段的值)去匹配日志字段,其中指定的RDS MySQL数据库表中的字段值为Key-Value形式,Key对应日志字段,Value为正则表达式,对应日志字段的值。根据匹配结果,将相关字段和字段值与Logstore中的数据拼接,生成新的数据。

    说明
    • 在res_rds_mysql函数中配置RDS MySQL数据库相关信息,详情请参见res_rds_mysql

    • content字段为RDS MySQL数据库表中的字段,使用该字段的值去匹配日志字段,支持正则匹配、完全匹配、模糊匹配等形式,具体匹配规则请参见e_search

    • 单行匹配

      匹配到RDS MySQL数据库表中一行数据就返回。

      e_search_table_map(res_rds_mysql(address="rds-host", username="mysql-username",password="xxx",database="xxx",table="xx",refresh_interval=60),"content","name")
    • 多行匹配

      遍历RDS MySQL数据库表中的所有数据行,将匹配到的数据全部添加到指定字段中。

      说明

      语法中增加如下两个参数。

      • multi_match=True:开启多行匹配。

      • multi_join=",":匹配到多个值时使用逗号(,)进行组合。

      e_search_table_map(res_rds_mysql(address="rds-host", username="mysql-username",password="xxx",database="xxx",table="xx",refresh_interval=60),"content","name",multi_match=True,multi_join=",")
  • 加工结果

    • 单行匹配

      例如:匹配日志中字段值符合n*表达式的city字段,匹配成功后,返回RDS MySQL数据库表中的name字段和字段值,生成一条新的日志。

      time:1563436326
      data:123
      city:nanjing
      province:jiangsu
      name:aliyun
    • 多行匹配

      例如:匹配日志中字段值符合n*表达式的city字段,符合su$表达式的province和是否包含nanjingcity字段。其中~=后面是正则表达式,冒号(:)表示是否包含该字段。匹配成功后,返回RDS MySQL数据库表中的name字段和对应的三个字段值,多个字段值用逗号(,)分隔,生成一条新的日志。

      time:1563436326
      data:123
      city:nanjing
      province:jiangsu
      name:aliyun,Maki,vicky
  • 本页导读 (1)
文档反馈