限流配置

场景

某大型电商平台在每天的凌晨时段需进行大量的数据处理任务，例如订单处理、库存同步及用户行为分析等。此外，平台还需定期进行历史数据的补数据工作，以确保数据的完整性和一致性。在进行补数据时，若需补充的历史时间周期较长，这些批处理任务将消耗大量计算资源，从而导致批处理任务的响应速度减慢，甚至可能出现超时失败的情况。在此情况下，应如何保障每天的批处理任务能够按时完成？

解决方案及功能

通过限制补数据任务的并发数，减少对日常任务的资源积压，保障日常任务的准时产出。

前提条件

已购买智能运维增值服务并且当前租户已开通智能运维模块。

操作步骤

1. 在Dataphin首页的顶部菜单栏中选择研发 > 任务运维。

2. 在左侧导航栏中选择系统配置 > 限流配置，在限流配置页面单击新建限流规则，新建一个规则控制补数据任务的并发数，以保障日常批处理任务的正常产出。其中，规则名称为补数据任务限流、规则配置选择自定义规则，条件为调度类型等于补数据实例、并发运行数为10（或根据实际资源情况进行调整），创建步骤详情请参见新建限流规则。