DLF 通过云监控提供了告警设置功能,通过对重要的监控指标设置报警规则,可以实时了解湖表优化的运行状况,及时处理潜在风险,保障湖表优化的稳定运行。
创建和管理报警规则
登录云监控控制台。
在左侧导航栏,选择。
单击创建报警规则,配置相关参数。
参数
说明
产品
数据湖构建(DLF)
资源范围
选择实例,报警规则作用于Catalog。
关联资源
单击添加实例,左上角选择目标地域,然后勾选需要监控的Catalog,单击确认。
规则描述
单击添加规则 > 简单指标或组合指标,进入设置规则描述面板。
云监控指标说明
监控指标
类型
描述
Compaction延时_最新compact提交到最新非compact提交
瞬时值
最新的compact提交的时间与最新的非compact提交时间的时间差。
Compaction延时_最早非compact提交
瞬时值
根据最早一次非compact提交的时间和当前系统时间计算出的时延。
Compaction延时_最早非compact文件
瞬时值
根据最早非compact文件的创建时间和当前系统时间计算出的时延。
重要这些指标仅适用于 Paimon 主键表,且必须开启存储优化开关,即设置
write-only=true。DLF 全托管服务默认已开启此选项。
告警方案示例与推荐
场景 | 告警配置方案 |
高频更新的主键表配置监控方案 | 监控指标:组合(满足之一报警)
监控维度:表级别 |
数据目录或者库级配置监控方案 | 监控指标:简单
监控维度:库级别或数据目录(不填写) |
告警规则示例
参数 | 示例 |
规则名称 | Compaction延迟告警 |
指标类型 | 组合指标 |
报警级别 | 警告(Warn) |
多指标描述 | Compaction延时_最早非compact提交:监控值 >= 600 s Compaction延时_最早非compact文件:监控值 >= 600 s |
选择维度 | 表级别 |
多指标关系 | 有一个满足条件就报警 |
报警阈值触发次数 | 连续一个周期(1个周期=1分钟) |
