Dataphin集成任务报错Failed XXX actions: RegionTooBusyException: XXX times

产品名称

Dataphin

产品模块

数据集成

概述

本文为您介绍HBase数据库中Failed XXX actions: RegionTooBusyException: XXX times的错误原因,以及如何规避

问题描述

您配置的集成任务是从FTP到HBase,为什么在执行过程中会报写入hbase时发生IO异常?

问题原因

解决方案

1.从日志中看,报错的表象是因为写入hbase时发生IO异常,但是从后面紧跟着的堆栈信息中可以看到,像是经过多次重试失败后,抛出了数据库异常:

Failed 5992 actions: RegionTooBusyException: 5992 times

2.并且从打印出的Htable连接池信息中,可以看到存在多个HTablePool异步处理线程执行失败了,数据传输速率为0。因次判断是写入端数据库出现了问题:

3.根据提示的报错信息在网上搜索,相关案例的问题是由于hbase负载过高、单region的处理能力不足导致的。热点数据、region过少、写入过多等都会导致数据库压力过大,需要数据库运维人员结合集群的配置、日志、以及源端数据情况综合分析。您可以在Dataphin的集成任务中添加限流组件进行规避。

更多信息

相关文档

相关问题原因解析:https://blog.csdn.net/GYQJN/article/details/50389881