参数配置

本文介绍了Serverless StarRocks FE和BE的参数配置。根据参数的生效方式,它们被划分为静态参数和动态参数两类。静态参数在修改后需要重新启动服务才能生效,而动态参数则允许立即生效,无需重新启动服务。

FE动态参数

LOG相关配置

参数

默认值

描述

qe_slow_log_ms

5000

Slow query的认定时长,单位为ms。

元数据与集群管理相关配置

参数

默认值

描述

catalog_try_lock_timeout_ms

5000

Catalog Lock获取的超时时长,单位为ms。

edit_log_roll_num

50000

Image日志拆分大小。

ignore_unknown_log_id

false

当FE回滚到低版本时,可能存在低版本BE无法识别的logID。取值如下:

  • true:FE会忽略这些未知的logID。

  • false:针对未知的logID,FE会退出进程。

ignore_meta_check

false

是否忽略元数据落后的情形。取值如下:

  • false:忽略。

  • true:不忽略。

max_backend_down_time_second

3600

BE和FE失联之后,FE能够容忍BE重新加回来的最长时间,单位为s。

drop_backend_after_decommission

true

BE被下线后,是否删除该BE。取值如下:

  • true:BE被下线后立即删除该BE。

  • false:BE被下线后不删除该BE。

查询引擎相关配置

参数

默认值

描述

expr_children_limit

10000

查询中IN谓词中可以涉及的数目。

expr_depth_limit

3000

查询嵌套的层次。

max_allowed_in_element_num_of_delete

10000

DELETE语句中IN谓词最多允许的元素数量。

max_layout_length_per_row

2147483647

单行最大的长度。

disable_cluster_feature

TRUE

是否禁用逻辑集群功能:

  • TRUE:禁用。

  • FALSE:不禁用。

enable_materialized_view

TRUE

是否允许创建物化视图。取值如下:

  • TRUE:允许。

  • FALSE:不允许。

enable_decimal_v3

TRUE

是否开启Decimal V3。取值如下:

  • TRUE:开启。

  • FALSE:不开启。

enable_sql_blacklist

FALSE

是否开启SQL Query黑名单校验。取值如下:

  • TRUE:开启。

  • FALSE:不开启。

说明

如果开启该功能,则在黑名单中的Query不能被执行。

dynamic_partition_check_interval_seconds

600

动态分区检查的时间周期,单位为s。

dynamic_partition_enable

TRUE

是否开启动态分区功能。取值如下:

  • TRUE:开启动态分区功能。打开后,您可以按需为新数据动态创建分区,同时StarRocks会⾃动删除过期分区,从而确保数据的实效性。

  • FALSE:不开启动态分区功能。

max_partitions_in_one_batch

4096

批量创建分区时,分区数目的最大值。

max_query_retry_time

2

FE上查询重试的次数。

max_create_table_timeout_second

600

建表最大超时时间,单位为s。

max_running_rollup_job_num_per_table

1

每个Table执行Rollup任务的最大并发度。

max_planner_scalar_rewrite_num

100000

优化器重写ScalarOperator允许的最大次数。

statistics_manager_sleep_time_sec

60

统计信息相关元数据调度间隔周期,单位为s。

statistic_collect_interval_sec

300

自动定期采集任务中,检测数据更新的间隔时间,单位为s。

statistic_update_interval_sec

86400

统计信息Job的默认收集间隔时间,单位为s。

statistic_sample_collect_rows

200000

采样统计信息Job的默认采样行数,默认为200000行。

enable_statistic_collect

TRUE

统计信息收集功能开关。取值如下:

  • TRUE:开启统计信息收集功能。

  • FALSE:不开启统计信息收集功能。

enable_local_replica_selection

FALSE

优化器是否优先选择与该FE相同IP的BE节点上的tablet。取值如下:

  • TRUE:是。

  • FALSE:否。

max_distribution_pruner_recursion_depth

100

分区裁剪允许的最大递归深度。

导入和导出相关配置

参数

默认值

描述

load_straggler_wait_second

300

控制BE副本最大容忍的导入落后时长,单位为s。

如果超过该时长,则进行克隆。

desired_max_waiting_jobs

100

最多等待的任务。

适用于所有的任务,例如建表、导入和是Schema Change。

max_running_txn_num_per_db

100

并发导入的任务数。

max_load_timeout_second

259200

适用于所有导入,单位为s。

min_load_timeout_second

1

适用于所有导入,单位为s。

load_parallel_instance_num

1

单个BE上并发实例数,默认1个。

disable_hadoop_load

FALSE

是否禁用从Hadoop导入。取值如下:

  • TRUE:禁用从Hadoop导入。

  • FALSE:不禁用从Hadoop导入。

disable_load_job

FALSE

如果集群异常时,是否接受导入任务。取值如下:

  • TRUE:接受导入任务。

  • FALSE:不接受导入任务。

db_used_data_quota_update_interval_secs

300

更新数据库使用配额的时间周期,单位为s。

history_job_keep_max_second

604800

历史任务最大的保留时长,单位为s。

label_keep_max_num

1000

一定时间内所保留导入任务的最大数量。

保留时间在label_keep_max_second中设置。

label_keep_max_second

259200

label保留时长,单位为s。

max_routine_load_job_num

100

最大的Routine Load作业数。

max_routine_load_task_concurrent_num

5

每个Routine Load作业最大并发执行的task数。

max_routine_load_task_num_per_be

5

每个BE最大并发执行的Routine Load task数,需要小于等于BE的routine_load_thread_pool_size配置。

max_routine_load_batch_size

4294967296

每个Routine Load task导入的最大数据量。

routine_load_task_consume_second

15

每个Routine Load task消费数据的最大时间,单位为s。

routine_load_task_timeout_second

60

每个Routine Load task超时时间,单位为s。

max_tolerable_backend_down_num

0

如果故障的BE节点数超过该阈值,则不能自动恢复Routine Load作业。

period_of_auto_resume_min

5

自动恢复Routine Load的时间间隔。

spark_load_default_timeout_second

86400

Spark导入的超时时间,单位为s。

spark_home_default_dir

STARROCKS_HOME_DIR/lib/spark2x

Spark客户端根目录。

stream_load_default_timeout_second

600

StreamLoad超时时间,单位为s。

max_stream_load_timeout_second

259200

Stream导入的超时时间允许设置的最大值,单位为s。

insert_load_default_timeout_second

3600

Insert Into语句的超时时间,单位为s。

broker_load_default_timeout_second

14400

Broker Load的超时时间,单位为s。

min_bytes_per_broker_scanner

67108864

单个实例处理的最小数据量,默认64 MB。

max_broker_concurrency

100

单个任务最大并发实例数,默认100个。

export_max_bytes_per_be_per_task

268435456

单个导出任务在单个BE上导出的最大数据量,默认256 MB。

export_running_job_num_limit

5

导出作业最大的运行数目。

export_task_default_timeout_second

7200

导出作业超时时长,单位为s,默认2小时。

存储相关配置

参数

默认值

描述

enable_strict_storage_medium_check

false

在创建表时,FE是否检查BE的存储介质类型。取值如下:

  • true:检查。

  • false:不检查。

capacity_used_percent_high_water

0.75

Backend上磁盘使用容量的度量值。

超过0.75之后,尽量不再往该tablet上发送建表和克隆的任务,直至恢复正常。

storage_high_watermark_usage_percent

85

BE存储目录下空间使用率的最大值。

storage_min_left_capacity_bytes

2147483648

BE存储目录下剩余空间的最小值,单位byte,默认2 GB。

storage_flood_stage_left_capacity_bytes

1073741824

BE存储目录的剩余空间。

如果剩余空间小于该值,则会拒绝Load Restore作业,单位byte,默认1 GB。

storage_flood_stage_usage_percent

95

BE存储目录下空间使用率。

如果空间使用率超过该值,则会拒绝Load和Restore作业。

catalog_trash_expire_second

86400

删表或数据库之后,元数据在回收站中保留的时长,单位为s,默认1天。

如果超过该时长,则数据无法恢复。

alter_table_timeout_second

86400

Schema change超时时间,单位为s,默认1天。

balance_load_disk_safe_threshold

0.5

仅对disk_and_tablet策略有效。

如果所有BE的磁盘使用率低于50%,则认为磁盘使用均衡。

balance_load_score_threshold

0.1

  • 针对be_load_score策略,负载比平均负载低10%的BE处于低负载状态,比平均负载高10% 的BE处于高负载状态。

  • 针对disk_and_tablet策略,如果最大和最小BE磁盘使用率之差高于10%,则认为磁盘使用不均衡,会触发tablet重新均衡。

disable_balance

false

是否禁用Tablet调度。取值如下:

  • false:禁用。

  • true:不禁用。

max_scheduling_tablets

2000

可同时调度的tablet的数量。

如果正在调度的tablet数量超过该值,则跳过tablet均衡检查。

max_balancing_tablets

100

正在均衡的tablet数量的最大值。

如果正在均衡的tablet数量超过该值,则跳过tablet重新均衡。

disable_colocate_balance

false

是否禁用Colocate Table的副本均衡。取值如下:

  • true:禁用。

  • false:不禁用。

recover_with_empty_tablet

false

在tablet副本丢失或损坏时,是否使用空的tablet代替。取值如下:

  • true:使用空的tablet代替。

  • false:不使用空的tablet代替。

使用空的tablet代替可以保证在有tablet副本丢失或损坏时,query依然能被执行(但是由于缺失了数据,结果可能是错误的)。

min_clone_task_timeout_sec

180

克隆Tablet的最小超时时间,单位为s,默认3min。

max_clone_task_timeout_sec

7200

克隆 Tablet 的最大超时时间,单位为s,默认2h。

tablet_create_timeout_second

1

建表超时时长,单位为s。

tablet_delete_timeout_second

2

删除表的超时时间,单位为s。

tablet_repair_delay_factor_second

60

FE 控制进行副本修复的间隔,单位为s。

consistency_check_start_time

23

FE 发起副本一致性检测的起始时间,默认是23:00。

consistency_check_end_time

4

FE 发起副本一致性检测的终止时间,默认是4:00。

check_consistency_default_timeout_second

600

副本一致性检测的超时时间,单位为s。

其他配置

参数

默认值

描述

plugin_enable

TRUE

是否开启了插件功能。取值如下:

  • TRUE:开启了插件功能。

  • FALSE:没有开启插件功能。

说明

只能在Master节点安装或卸载插件。

max_small_file_number

100

允许存储小文件数目的最大值。

max_small_file_size_bytes

1048576

存储文件的大小上限,单位byte,默认1 MB。

backup_job_default_timeout_ms

86400000

Backup作业的超时时间,单位为毫秒,默认1天。

report_queue_size

100

Disk、Task或Tablet的Report的等待队列长度。

FE静态参数

LOG相关配置

参数

默认值

描述

log_roll_size_mb

1024

日志文件的大小。单位为MB。默认值1024表示每个日志文件的大小为1 GB。

sys_log_dir

/opt/starrocks/be/log

存放日志的目录。

sys_log_level

INFO

系统日志的级别。

可以配置的等级从宽松到严格依次为INFO、WARNING、ERROR和FATAL。

sys_log_verbose_modules

空字符串

日志打印的模块。

例如,如果填写为org.apache.starrocks.catalog,则只打印catalog模块下的日志。

sys_log_roll_interval

DAY

系统日志滚动的时间间隔。

sys_log_delete_age

1d

系统日志文件的保留时长。

sys_log_roll_num

2

每个sys_log_roll_interval时间段内,允许保留的系统日志文件的最大数目。

audit_log_dir

starrocksFe.STARROCKS_HOME_DIR/log

审计日志保留的目录。

audit_log_roll_num

2

每个dump_log_roll_interval时间内,允许保留的Dump日志文件的最大数目。

audit_log_modules

slow_query, query

打印审计日志的模块。默认打印slow_query和query模块的日志。可以指定多个模块,模块名称之间用英文逗号加一个空格分隔。

audit_log_roll_interval

DAY

审计日志滚动的时间间隔,取值为DAY和HOUR。

audit_log_delete_age

1d

审计日志文件的保留时长。

dump_log_dir

STARROCKS_HOME_DIR/log

Dump日志的目录。

dump_log_modules

query

打印Dump日志的模块。默认打印query模块的日志。可以指定多个模块,模块名称之间用英文逗号加一个空格分隔。

dump_log_roll_interval

DAY

Dump日志拆分的时间间隔。

日志文件的后缀为yyyyMMdd(DAY)或yyyyMMddHH(HOUR)。

dump_log_roll_num

2

每个dump_log_roll_interval时间内,保留的Dump日志文件的最大数目。

dump_log_delete_age

1d

Dump日志文件的保留时长。

Server进程相关配置

参数

默认值

描述

frontend_address

0.0.0.0

FE节点的IP地址。

priority_networks

空字符串

以CIDR形式10.10.**.**/24指定IP地址,适用于机器有多个IP,需要指定优先使用的网络。

http_port

8030

Http Server的端口。

http_backlog_num

1024

HTTP Server的backlog队列长度。

cluster_name

StarRocks Cluster

Web页面中Title显示的集群名称。

rpc_port

9020

FE上的Thrift Server端口。

thrift_backlog_num

1024

Thrift Server的backlog队列长度。

thrift_server_type

THREAD_POOL

Thrift服务器的服务模型。取值范围:SIMPLE、THREADED和THREAD_POOL。

thrift_server_max_worker_threads

4096

Thrift Server最大工作线程数。

thrift_client_timeout_ms

5000

Thrift客户端链接的空闲超时时间,即链接超过该时间无新请求后则将链接断开。

brpc_idle_wait_max_time

10000

BRPC的空闲等待时间,单位为ms,默认为10s。

query_port

9030

FE上的MySQL Server端口。

mysql_service_nio_enabled

true

是否开启MySQL服务器的异步I/O选项。取值如下:

  • true:开启。

  • true:不开启。

mysql_service_io_threads_num

4

FE连接服务线程数。

mysql_nio_backlog_num

1024

MySQL Server的backlog队列长度。

max_mysql_service_task_threads_num

4096

MySQL Server处理任务的最大线程数。

max_connection_scheduler_threads_num

4096

连接定时器的线程池的最大线程数。

qe_max_connection

1024

FE上最多接收的连接数,适用于所有用户。

check_java_version

true

检查已编译的Java版本与运行的Java版本是否兼容。如果不兼容,则上报Java 版本不匹配的异常信息,并终止启动。

元数据与集群管理相关配置

参数

默认值

描述

meta_dir

/opt/starrocks/fe/meta

元数据的保留目录。

heartbeat_mgr_threads_num

8

HeartbeatMgr中发送心跳任务的线程数。

heartbeat_mgr_blocking_queue_size

1024

HeartbeatMgr中发送心跳任务的线程池的队列长度。

metadata_failure_recovery

false

强制重置FE的元数据。

说明

请谨慎使用该参数。

edit_log_port

9010

FE Group(Master、Follower、Observer)之间通信用的端口。

edit_log_type

BDB

Edit log的类型,只能为BDB。

bdbje_heartbeat_timeout_second

30

BDBJE心跳超时的间隔,单位为s。

bdbje_lock_timeout_second

1

BDBJE锁超时的间隔,单位为s。

max_bdbje_clock_delta_ms

5000

Master与Non-master最大容忍的时钟偏移,单位为ms。

txn_rollback_limit

100

事务回滚的上限。

bdbje_replica_ack_timeout_second

10

BDBJE Master等待足够多的FOLLOWER ACK的最长时间c

master_sync_policy

SYNC

Master日志刷盘的方式,默认是SYNC。

replica_sync_policy

SYNC

Follower日志刷盘的方式,默认是SYNC。

meta_delay_toleration_second

300

非Master节点能够容忍的最大元数据落后的时间,单位为s。

cluster_id

-1

FE所在StarRocks实例的ID。具有相同集群ID的FE或BE属于同一个StarRocks实例。

默认值-1,表示在Leader FE首次启动时随机生成一个。

查询引擎相关配置

参数

默认值

描述

disable_colocate_join

FALSE

是否开启Colocate Join。取值如下:

  • FALSE:不开启Colocate Join。

  • TRUE:开启Colocate Join。

enable_udf

FALSE

是否开启UDF。取值如下:

  • FALSE:不开启UDF。

  • TRUE:开启UDF。

publish_version_interval_ms

10

发送版本生效任务的时间间隔。

statistic_cache_columns

100000

缓存统计信息表的最大行数。

导入和导出相关配置

参数

默认值

描述

async_load_task_pool_size

10

导入任务执行的线程池大小。

load_checker_interval_second

5

导入轮询的间隔,单位为s。

transaction_clean_interval_second

30

清理已结束事务的周期,单位为s。

label_clean_interval_second

14400

label清理的间隔,单位为s。

spark_dpp_version

1.0.0

Spark dpp版本。

spark_resource_path

空字符串

Spark依赖包的根目录。

spark_launcher_log_dir

sys_log_dir/spark_launcher_log

Spark日志目录。

yarn_client_path

STARROCKS_HOME_DIR/lib/yarn-client/hadoop/bin/yarn

YARN客户端根目录。

yarn_config_dir

STARROCKS_HOME_DIR/lib/yarn-config

YARN配置文件目录。

export_checker_interval_second

5

导出线程轮询间隔,单位为s。

export_task_pool_size

5

导出任务线程池大小。

export_checker_interval_second

5

导出作业调度器的调度周期,单位为s。

存储相关配置

参数

默认值

描述

tablet_sched_storage_cooldown_secon

-1

介质迁移的时间,单位为s。默认值-1表示不进行自动降冷。如需启用自动降冷功能,请显式设置参数取值大于0。

default_storage_medium

HDD

默认的存储介质,取值为HDD和SSD。

在创建表或分区时,如果没有指定存储介质,则会使用该值。

schedule_slot_num_per_path

2

一个BE存储目录能够同时执行tablet相关任务的数目。

tablet_balancer_strategy

disk_and_tablet

Tablet均衡策略,取值为disk_and_tablet或be_load_score。

tablet_stat_update_interval_second

300

FE向每个BE请求收集tablet信息的时间间隔,单位为s,默认5min。

其他配置

参数

默认值

描述

plugin_dir

STARROCKS_HOME_DIR/plugins

插件安装的目录。

small_file_dir

STARROCKS_HOME_DIR/small_files

小文件的根目录。

max_agent_task_threads_num

4096

代理任务的线程池的最大线程数。

authentication_ldap_simple_bind_base_dn

""

用户的base DN,指定用户的检索范围。

authentication_ldap_simple_bind_root_dn

""

检索用户时,使用的管理员账号DN。

authentication_ldap_simple_bind_root_pwd

""

检索用户时,使用的管理员账号密码。

authentication_ldap_simple_server_host

""

LDAP服务的host地址。

authentication_ldap_simple_server_port

389

LDAP服务的端口。

authentication_ldap_simple_user_search_attr

uid

LDAP对象中标识用户的属性名称。

tmp_dir

starrocksFe.STARROCKS_HOME_DIR/temp_ddir

临时文件保存目录,例如Backup和Restore等进程保留的目录。

locale

zh_CN.UTF-8

FE所使用的字符集。

hive_meta_load_concurrency

4

Hive元数据支持的最大并发线程数。

hive_meta_cache_refresh_interval_s

7200

定时刷新Hive外表元数据缓存的周期,单位为s。

hive_meta_cache_ttl_s

86400

Hive外表元数据缓存失效时间,单位为s,默认2h。

hive_meta_store_timeout_s

10

连接Hive MetaStore的超时时间,单位为s。

es_state_sync_interval_second

10

FE获取ElasticSearch Index的时间,单位为s。

enable_auth_check

true

是否开启鉴权。取值如下:

  • true:开启鉴权。

  • false:不开启鉴权。

enable_metric_calculator

true

是否开启定期收集Metrics。取值如下:

  • true:开启。

  • false:不开启。

BE配置项

BE配置项全部是静态参数。

配置项默认值描述
be_port9060BE上Thrift Server的端口,用于接收来自FE的请求。
brpc_port8060BRPC的端口,可以查看BRPC的一些网络统计信息。
brpc_num_threads-1BRPC的bthreads线程数量。默认值-1表示和CPU核数一样。
priority_networks空字符串以CIDR形式10.10.**.**/24指定BE的IP地址,适用于机器有多个IP,需要指定优先使用的网络。
heartbeat_service_port9050心跳服务端口(Thrift),接收来自FE的心跳。
heartbeat_service_thread_count1心跳线程数。
create_tablet_worker_count3创建tablet的线程数。
drop_tablet_worker_count3删除tablet的线程数。
push_worker_count_normal_priority3导入线程数,处理NORMAL优先级任务。
push_worker_count_high_priority3导入线程数,处理HIGH优先级任务。
publish_version_worker_count2生效版本的线程数。
clear_transaction_task_worker_count1清理事务的线程数。
alter_tablet_worker_count3进行Schema Change的线程数。
clone_worker_count3克隆的线程数。
storage_medium_migrate_count1介质迁移的线程数。例如,热数据从SSD迁移到SATA盘的线程数。
check_consistency_worker_count1计算tablet的校验和checksum。
report_task_interval_seconds10汇报单个任务的间隔,单位为s。

建表、删除表、导入和Schema Change都可以被认定是任务。

report_disk_state_interval_seconds60汇报磁盘状态的间隔,单位为s。

汇报各个磁盘的状态及其数据量等。

report_tablet_interval_seconds60汇报tablet的间隔,单位为s。

汇报所有的tablet的最新版本。

alter_tablet_timeout_seconds86400Schema Change超时时间,单位为s。
sys_log_dir${DORIS_HOME}/log存放日志的目录。

日志级别包括INFO、WARNING、ERROR和FATAL。

user_function_dir${DORIS_HOME}/lib/udf存放UDF程序的目录。
sys_log_levelINFO日志的等级。

可以配置的等级从宽松到严格依次为INFO、WARNING、ERROR和FATAL。

sys_log_roll_modeSIZE-MB-1024日志拆分的大小,每1 GB拆分一个日志。
sys_log_roll_num10日志保留的数目。
sys_log_verbose_modules空字符串日志打印的模块。如果写olap,则只打印olap模块下的日志。
sys_log_verbose_level10日志显示的级别,用于控制代码中VLOG开头的日志输出。
log_buffer_level空字符串日志刷盘的策略,默认保持在内存中。
num_threads_per_core3每个CPU core启动的线程数。
compress_rowbatchesTRUEBE之间RPC通信是否压缩RowBatch,用于查询层之间的数据传输。
serialize_batchFALSEBE之间RPC通信是否序列化RowBatch,用于查询层之间的数据传输。
status_report_interval5查询汇报profile的间隔,单位为s,用于FE收集查询统计信息。
doris_scanner_thread_pool_thread_num48存储引擎并发扫描磁盘的线程数,统一管理在线程池中。
doris_scanner_thread_pool_queue_size102400存储引擎最多接收的任务数。
doris_scan_range_row_count524288存储引擎拆分查询任务的粒度。
doris_scanner_queue_size1024存储引擎支持的扫描任务数。
doris_scanner_row_num16384每个扫描线程单次执行最多返回的数据行数。
doris_max_scan_key_num1024查询最多拆分的scan key数目。
column_dictionary_key_ratio_threshold0字符串类型的取值比例,小于这个比例采用字典压缩算法。
column_dictionary_key_size_threshold0字典压缩列大小,小于这个值采用字典压缩算法。
memory_limitation_per_thread_for_schema_change2单个Schema Change任务允许占用的最大内存。
file_descriptor_cache_clean_interval3600文件句柄缓存清理的间隔,单位为s,用于清理长期不用的文件句柄。
disk_stat_monitor_interval5磁盘状态检测的间隔,单位为s。
unused_rowset_monitor_interval30清理过期Rowset的时间间隔,单位为s。
storage_root_path空字符串存储数据的目录。
max_tablet_num_per_shard1024每个shard的tablet数目,用于划分tablet,防止单个目录下tablet子目录过多。
pending_data_expire_time_sec1800存储引擎保留的未生效数据的最大时长,单位为s。
inc_rowset_expired_sec1800在增量克隆场景下,已导入的数据,在存储引擎中保留的时间,单位为s。
max_garbage_sweep_interval3600磁盘进行垃圾清理的最大间隔,单位为s。
min_garbage_sweep_interval180磁盘进行垃圾清理的最小间隔,单位为s。
snapshot_expire_time_sec172800快照文件清理的间隔,单位为s,默认为48小时。
trash_file_expire_time_sec259200回收站清理的间隔,单位为s,默认为72小时。
file_descriptor_cache_capacity16384文件句柄缓存的容量。
min_file_descriptor_number60000BE进程的文件句柄limit要求的下限。
index_stream_cache_capacity10737418240BloomFilter、Min或Max等统计信息缓存的容量。
storage_page_cache_limit0PageCache的容量。
disable_storage_page_cacheTRUE 是否禁用Page Cache。
  • TRUE:禁用Page Cache。
  • FALSE:不禁用Page Cache。
base_compaction_check_interval_seconds60BaseCompaction线程轮询的间隔,单位为s。
base_compaction_num_threads_per_disk1每个磁盘BaseCompaction线程的数目。
base_cumulative_delta_ratio0.3BaseCompaction触发条件之一:Cumulative文件大小达到Base文件的比例。
base_compaction_interval_seconds_since_last_operation86400BaseCompaction触发条件之一:上一轮BaseCompaction距今的间隔。
cumulative_compaction_check_interval_seconds1CumulativeCompaction线程轮询的间隔,单位为s。
min_cumulative_compaction_num_singleton_deltas5CumulativeCompaction触发条件之一:Singleton文件数目要达到的下限。
max_cumulative_compaction_num_singleton_deltas1000CumulativeCompaction 触发条件之一:Singleton文件数目要达到的上限。
cumulative_compaction_num_threads_per_disk1每个磁盘CumulativeCompaction线程的数目。
min_compaction_failure_interval_sec120Tablet Compaction失败之后,再次被调度的间隔,单位为s。
max_compaction_concurrency-1BaseCompaction + CumulativeCompaction的最大并发。

默认值-1表示没有限制。

webserver_port8040Http Server端口。
webserver_num_workers48Http Server线程数。
periodic_counter_update_period_ms500Counter统计信息的间隔,单位为ms。
load_data_reserve_hours4小批量导入生成的文件保留的时间,单位为h。
load_error_log_reserve_hours48导入数据信息保留的时长,单位为h。
number_tablet_writer_threads16流式导入的线程数。
streaming_load_max_mb10240流式导入单个文件大小的上限。
streaming_load_rpc_max_alive_time_sec1200流式导入RPC的超时时间。
fragment_pool_thread_num64查询线程数,默认启动64个线程,后续查询请求动态创建线程。
fragment_pool_queue_size2048单节点上能够处理的查询请求上限。
enable_partitioned_aggregationTRUE是否使用PartitionAggregation:
  • TRUE:使用PartitionAggregation。
  • FALSE:不使用PartitionAggregation。
enable_token_checkTRUE是否开启Token检验:
  • TRUE:开启Token检验。
  • FALSE:不开启Token检验。
load_process_max_memory_limit_bytes107374182400单节点上所有的导入线程占据的内存上限,默认为100 GB。
load_process_max_memory_limit_percent30单节点上所有的导入线程占据的内存上限比例。
sync_tablet_metaFALSE存储引擎是否开sync保留到磁盘上。
thrift_rpc_timeout_ms5000Thrift超时的时长,单位为ms。
txn_commit_rpc_timeout_ms10000Txn超时的时长,单位为ms。
routine_load_thread_pool_size10例行导入的线程池数目。
tablet_meta_checkpoint_min_new_rowsets_num10TabletMeta Checkpoint的最小Rowset数目。
tablet_meta_checkpoint_min_interval_secs600TabletMeta Checkpoint线程轮询的时间间隔,单位为s。
brpc_max_body_size209715200BRPC最大的包容量,默认为200 MB。
max_runnings_transactions2000存储引擎支持的最大事务数。
tablet_map_shard_size32Tablet分组数。
enable_bitmap_union_disk_format_with_setFALSEBitmap新存储格式,可以优化bitmap_union性能。

相关文档

如需修改参数,请在EMR控制台进行修改,详情请参见修改配置信息