本文通过安全监控作业案例,帮助您了解实时计算流式作业开发流程。

实时安全监控案例介绍

实时监控报警作为保障数据安全的重要环节,受到越来越多的关注。为了保证在同时满足数据的正确性和实效性的前提下,在流式的数据里做实时监控报警。实时计算通过将流式数据源表和存放白名单的维度表进行实时JOIN,实时地识别源表中数据对应的地址是否存在于白名单中,便于后续根据需要,采取相应的操作方式(本案例中将不存在于白名单中的数据进行直接过滤)。
说明 本案例同时适用于实时计算共享模式和独享模式。

安全监控业务架构图

Architecture
  • DataHub源表的表结构
    字段名 类型 注释
    name varchar 名称
    place varchar 地址
  • RDS维表的表结构
    字段名 类型 注释
    place varchar 白名单地址
  • RDS结果表的表结构
    字段名 类型 注释
    name varchar 过滤后的名称
    place varchar 地址

作业操作流程