本文介绍导入Elasticsearch数据到日志服务所涉及的使用限制。

采集限制

限制项说明
单条数据大小单条数据最大为3 MB。数据大小超过限制时,该数据会被丢弃。

数据处理流量观测仪表盘中的写失败条数代表被丢弃的数据条数。如何查看,请参见查看导入配置

数据延迟采用自动导入增量数据模式时,最新写入Elasticsearch的数据不会立即被导入到日志服务,会受到数据最大延迟秒数配置项的影响。

例如设置数据最大延迟秒数为300秒,则最新写入Elasticsearch的数据将在300秒后被导入到日志服务。

配置限制

限制项说明
数据导入配置数量单个Project允许创建的所有类型的导入配置总数最大为100个。如果您有更大的使用需求,请提工单申请。
带宽限制数据导入任务通过VPC网络读取阿里云Elasticsearch集群的数据时,默认支持的最大网络带宽为128 MB/s。如果您需要更大的带宽,请提工单申请。

性能限制

限制项说明
并发任务数量导入任务采用Scroll模式拉取Elasticsearch数据,而Elasticsearch服务端存在最大支持的Scroll请求数量限制(默认500个,您可通过配置Elasticsearch集群中的search.max_open_scroll_context进行调整),因此所有导入任务对应的Shard总数不能超过该限制数,否则部分导入任务将失败。
Elasticsearch服务端的能力Elasticsearch集群规模越大、机器配置越好,整体吞吐能力越高。
查询的复杂度如果导入任务中存在复杂的Elasticsearch查询,则Elasticsearch服务端执行请求消耗的时间可能会比较长,从而影响整体的数据读取速度。
Logstore Shard数量日志服务的写性能取决于目标Logstore的Shard数量(单个Shard支持5 MB/s的写入)。当数据量较大时,建议增加目标Logstore的Shard数量。具体操作,请参见管理Shard
网络如果是VPC环境下的阿里云Elasticsearch集群或ECS上自建的Elasticsearch集群,您可通过VPC网络读取数据,节省公网流量且传输速度快(达到100 MB/s以上的带宽)。

采用公网导入数据时,网络的性能和带宽无法保障,容易出现导入延迟问题。

对Elasticsearch服务端的影响

限制项说明
Search Session过多导入任务采用Scroll模式读取Elasticsearch数据(导入任务会为导入索引的每个Shard创建一个Scroll请求),而Elasticsearch服务端会为每个Scroll请求保留Session信息,这将消耗服务端一定的内存资源。
负载过高待导入的索引数量较多、数据集较大时,会造成Elasticsearch服务端的整体负载较高,甚至影响Elasticsearch服务的整体可用性。

如果Elasticsearch集群负载较高,您可以提工单申请调整导入任务的最大流量。