Serverless StarRocks内核发布记录_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心

本文为您介绍EMR Serverless StarRocks内核的功能动态。

3.3

说明

Serverless StarRocks 3.3版本基于Linux Foundation Project StarRocks开发。有关社区功能更新的详细信息，请参见StarRocks version 3.3。

3.3.13-1.0.0版本

发布时间

2025年6月19日

更新内容

本次正式发布企业级内核Stella 1.0.0版本。此版本基于云上存算分离架构，重点提升了系统的稳定性与性能表现，并扩展了对全文检索等多样化数据分析场景的支持，旨在为企业提供统一且高效的云原生数据分析能力。

功能分类	说明
基础引擎	【新增功能】支持SSL加密。统计信息采集任务支持配置同步模式选项。 Spark Load支持动态更新配置。【功能优化】优化物化视图（MV）Reload性能，显著提升FE启动效率。优化聚合操作下推与Broadcast Join的协同处理。优化Broadcast操作中Row Limit不生效的问题。改进`GROUP_CONCAT`生成的执行计划（Plan）的准确性。优化物化视图刷新时的锁粒度。增强Metrics API，提供更多监控指标。优化高并发场景下Get Shard Info RPC的超时问题。【问题修复】修复3.2升级到3.3版本时，Schema Change导致CN/BE崩溃的问题。修复Report Exec State导致的数据插入丢失问题。修复开启Fast Schema Evolution后引发的CN崩溃问题。修复表删除后Insert任务无法正常结束的问题。修复查询过程中出现的版本找不到的问题。修复在终止任务（Kill Task）后，物化视图刷新任务卡住的问题。修复物化视图在多阶段改写过程中生成的错误执行计划（Plan）的问题。修复Tablet无法完整加载的问题。解决FE Image加载后未正确构建物化视图关系的问题。修复DESC Table Cache导致的查询失败（Query Terminated异常）。修复事务结果（Transaction Result）异常问题。修复Join和Union查询结果不正确的问题。修复`n_gram`函数导致的查询结果错误的问题。修复DataWorks血缘关系不生效的问题。修复Paimon的`DESC TABLE`信息不正确的问题。修复Paimon物化视图每次都全量刷新的问题。
存算分离	【新增功能】支持Compaction Punish时间可配置。支持Tablet Meta Cache和Index Cache，显著提升查询性能。 `_query_plan`接口支持指定Warehouse（计算组）。支持Compaction跨多个Warehouse调度。【功能优化】提升Compaction的可观测性。使用Poco HTTP Client以优化OSS访问效率。支持在进行Drop Partition操作后，清理本地缓存，以避免无效磁盘空间的占用。优化获取分片信息的性能。提升Count操作直读性能。增强Mutli-Warehouse（多计算组）下Load任务的可观测性。支持自适应文件格式，降低IOPS，优化查询性能。【问题修复】全面启用Cloud Native主键索引（PK Index），修复若干元数据相关问题。修复Compaction无法正常调度的问题。
Lakehouse	【新增功能】支持阿里云Data Lake Formation 2.5版本。 Paimon外表支持时间类型字段。 Paimon外表支持通过`SHOW CREATE TABLE`查询属性。【功能优化】物化视图在定时或频繁获取元数据的场景下，去除冗余IO，减少IO次数，从而提升刷新效率。优化Paimon元数据缓存配置。修复Paimon查询中`FLOAT`类型过滤不生效的问题。提升从DLF读取分区信息（Partition Info）的性能。支持MaxCompute外表元数据刷新。使用UUID替代创建时间（Create Time），以优化Paimon的查询性能。提升Paimon Deletion Vector表的查询性能。优化Parquet文件扫描效率。【问题修复】修复Paimon查询`DATETIME`类型时区不正确的问题。修复Hudi数据源读取`VARCHAR`类型失败的问题。修复Paimon commit信息写入不正确的问题。
全文检索	【新增功能】全文检索功能Beta发布，优化多个Clucene性能问题，文本检索性能较之前提升100%以上。支持Tokenize相关函数。【功能优化】优化倒排索引（Invert Index）文件结构，提升查询效率。改进Index Tool，方便快速定位和解决问题。

3.3.8-1.98及之前版本

版本号	发布时间	说明
3.3.8-1.98	2025年05月28日	【新增功能】多计算组（multi-warehouse）支持Compaction隔离机制，能够根据导入任务所使用的 Warehouse 动态执行Compaction操作。 Paimon能力增强：支持Paimon DLF 2.5 Catalog，引入了Paimon Manifest Cache机制，并支持Paimon Schema Change功能。【功能优化】新增FE动态配置`lake_min_compaction_interval_ms_on_success`和`lake_min_compaction_interval_ms_on_failure`，用于精确控制存算分离场景下的Compaction调度延迟，降低高频导入任务对调度性能的影响。存算分离优化内存优化：针对存算分离的部分列更新操作引入`Max Buffer Rows`限制，大幅提升实例稳定性。 gRPC协议优化：支持Channel复用，显著缓解FE/BE间的网络压力，提升查询性能。 RPC接口优化：优化FE到StarOS Shard的RPC接口，进一步提升查询性能。内核优化：改进BE/CN中Tablet并行Scan能力，显著提升查询效率。优化FE启动及Leader FE Checkpoint执行MV Reload的开销，特别适用于MV数量多且依赖关系复杂的集群，提升实例稳定性并降低资源消耗。【问题修复】修复因重复调用FinishInstance RPC而导致的错误。修复FE Checkpoint导致的Base Compaction Forbidden Range报错问题。修复未开启Compaction绑定导入Warehouse特性时，Compaction调度异常的问题。修复了在Insert Overwrite部分场景下可能导致的数据丢失问题。修复了Paimon部分缺陷，包括时区问题以及DLF 2.5的依赖问题。修复由Spill引发的CN Crash问题。存算分离修复：修复由于部分更新操作导致的带排序键的主键表数据丢失问题。修复了在将版本从3.1/3.2升级至3.3后，由于Column Unique ID不兼容导致Schema Change失败的问题。修复由Batch Publish（批量发布）引起的版本不一致问题。
3.3.8-1.91	2025年03月20日	【新增功能】在存算分离实例中，数据支持部分更新（Partial Update）和条件更新（Conditional Update）。新增BE动态配置项 `enable_delete_with_condition`，用于控制是否允许「带条件删除」操作。针对存算一体表，新增FE配置项 `enable_corrupt_check_set_bad`（默认值为`false`）。启用后，在查询运行时会检查副本文件（replica file）是否损坏，并自动将其标记为不可用（set bad），从而提高数据可靠性。支持在外部Catalog创建语句中显式配置AccessKey ID和AccessKey Secret。【功能优化】解决了当Materialized View（MV）数量较多时，执行 `SHOW MATERIALIZED VIEW` 或查询 `information_schema.materialized_views`表过慢的问题。【问题修复】修复了存算一体实例中无法使用事务型Stream Load的问题。修复了社区3.3.8版本中引入的CN（Compute Node）崩溃问题。修复了MV刷新后回收站未及时清理过期分区物理数据文件的问题。修复了开启多计算组（multi-warehouse）后Kudu外表无法访问的问题。修复了Query Context释放后Spill Task无法正常结束的问题。修复了Flat JSON在读取非对象JSON数据时触发BE崩溃的问题。修复了Paimon表中时间戳类型字段的时区转换问题。修复了针对非分区Paimon表执行`SHOW PARTITION`时触发空指针异常的问题。
3.3.8-1.90	2025年03月04日	【新增功能】存算分离DataCache支持统计信息计算与采集。【功能优化】优化了物化视图的获取逻辑，提升了系统性能。 Compaction稳定性优化：解决了FE重启后可能出现的Compaction阻塞问题。优化了Compaction不自动终止的问题。改进了OSS API的请求逻辑。增强了Batch Publish的日志记录和可观测性。优化了Compaction的诊断分析信息，提供更详细的运行状态和性能指标。改进了OSS-HDFS的访问逻辑，提升了数据读写的稳定性和效率。【问题修复】修复了因FE切主引发的Lake Compaction事务重复执行问题。修复了Multi-Warehouse在事务型Stream Load中无法正常生效的问题。修正了`information_schema`表中导入记录缺失Warehouse属性的问题。修复了Paimon缓存不会自动刷新的问题。修复了FE（Frontend）节点重启后RAM用户属性丢失的问题。修复了DLF 2.0认证过程中出现的报错问题。
3.3.8-1.87	2025年02月06日	【新增功能】 Paimon表支持 `SHOW PARTITIONS` 语法，用于查看表的分区信息。支持Paimon表的写入操作。支持DLF 2.0。【功能优化】移除了Profile相关修改。移除了Pure DLA相关代码。在Compaction任务中新增了详细的观测信息。新增对Cache Select的Hint设置支持，允许用户通过Hint控制缓存行为。优化物化视图强制刷新策略。扩展了Update语句的功能，支持在单条语句中对同一列进行多次设置。存算分离表新增了删除Cloud Native Index的功能。 Paimon表支持统计信息采集功能，优化查询性能。当查询Paimon表仅包含分区谓词时，支持Limit Push Down。在Metrics Action中新增日志打印功能。 Cloud Native Index新增主键（PK）相关指标。支持统计OSS API调用次数。优化了gRPC调用中的超时问题。在Compaction过程中新增调度日志。 Paimon表支持刷新Manifest缓存。优化了Paimon表查询的Profile信息输出。存算分离表支持索引缓存功能。存算分离表Profile支持写入相关性能指标。优化物化视图刷新任务导致FE内存问题。支持Paimon表的元数据缓存功能。支持列级别血缘输出给DataWorks。优化了`COUNT(1)`查询的执行效率。【问题修复】修复了查询DLF Paimon表时出现的`thrift class not found`异常。修复了Paimon表查询时因类型转换导致的异常。修复了Paimon Catalog查询中无法正确识别`aliyun.oss.endpoint`配置的问题。修复了聚合查询（Aggregation Query）结果不准确的问题。修复了湖表统计信息采集结果不正确的问题。修复存算分离内部表在执行Partial Update操作后生成的Segment文件异常问题。修复了Compaction Profile显示不正确的问题。修复了FE的LockManager未能唤醒所有调用方的问题。修复了无法修改排序键（Sort Key）的问题。修复了Warehouse属性配置未生效的问题。修复了admin用户无法管理Warehouse的问题。修复了CBO（Cost-Based Optimizer）Reduce规则异常的问题。修复了查询Hive表时错误提示Hudi表不存在的问题。修复了存算分离表在更新操作后未正确更新Publish Time的问题。修复了读取由Spark写入的Parquet文件时出现的报错问题。
3.3.2-1.77	2024年11月19日	支持Cloud-Native PK Index。支持OSS API访问的指标统计，以实现成本优化。 FE查询调度容错优化，以提升稳定性。修复社区3.3版本中关于Prepare日志记录的导致的稳定性问题。默认启用Paimon Catalog级别缓存，以提升Paimon表的读取速度。 Paimon表支持使用EXPLAIN ANALYZE进行性能分析。优化Paimon表的执行计划。修复Paimon表在Hive Catalog或DLF Catalog中可能出现的死锁问题。修复无法查询Paimon系统表的问题。修复DLF外表无法访问的问题。

3.2

说明

Serverless StarRocks 3.2版本基于Linux Foundation Project StarRocks开发。有关社区功能更新的详细信息，请参见StarRocks version 3.2。

版本号	发布时间	说明
3.2.15-1.97	2025年05月28日	【问题修复】修复了Elasticsearch Catalog在解析属性时可能出现的错误。修复了Optimize Job在执行过程中无法正确设置Query Timeout的问题。修复了CreateLoadTask 操作可能导致FE节点卡住的问题。修复了因事务状态异常引发的Stream Load报Label重复的问题。
3.2.15-1.92	2025年03月21日	【新增功能】支持`MAX_BY()`和`MIN_BY()`窗口函数。【功能优化】支持为表设置禁止Base Compaction的时间范围。支持收集Paimon表的统计信息。在Metrics中增加节点和直方图指标。在StarClient中新增超时参数配置。支持自动检测副本是否损坏，并将其标记为Bad。【问题修复】修复了`SHOW ROUTINE LOAD`后`loadRowsRate`字段返回0的问题。修复了Files()函数无法正确读取未被查询列的问题。修复了`ARRAY_MAP`函数导致BE崩溃的问题。修复了Metadata Cache导致BE崩溃的问题。修复了Routine Load因事务超时被取消的问题。修复了在开启低基数优化时，嵌套聚合函数`MAX(COUNT(DISTINCT))` 的执行计划出错的问题。修复了Stream Load被重定向到非活跃（Non-Alive）节点的问题。修复了BE重启后bRPC持续报错的问题。修复了使用HTTP 1.0提交Stream Load失败的问题。修复了Leader和Follower FE任务状态不一致的问题。修复了物化视图行数（Row Count）错误的问题。
3.2.11-1.79	2024年11月20日	【功能优化】默认开启Paimon分区级别缓存，以提升查询速度。优化了Paimon的统计信息功能。 Audit log增加报错查询的错误信息。【问题修复】修复colocate tablets频繁迁移的问题。修复访问OSS/OSS-HDFS上的Paimon表时出现的找不到OSS Scheme的问题。修复无法创建DLF 2.0 Paimon表的问题。修复写入Hive分区表时分区错误的问题。修复array_to_bitmap函数处理常量结果时的错误。
3.2.11-1.76	2024年10月30日	【功能优化】优化Profile采集策略，同时修复潜在的Crash问题。增强存算分离架构的异常处理机制，提升了系统的容错性。【问题修复】修复向外部分区表插入数据时出现的结果错误问题。修复线程泄漏引起的FE异常问题。修改存算分离环境下PK表使用Bitmap类型后Crash的问题。修复`ToDataCacheInfo`泄露问题，防止存算分离架构下FE内存溢出（OOM）。解决了由于Query Cache导致的查询结果不正确问题。修复部分Bucket Shuffle返回错误结果的问题。修复访问表函数时生成空指针异常（NPE）的问题，提升了系统稳定性。
3.2.9-1.71	2024年09月14日	【新增功能】支持Paimon表写入。支持DLF2.0 Paimon Catalog的读写。【功能优化】支持Paimon表的Explain Analyze功能。移除Paimon表的裁剪和统计信息。在Current Query中新增SQL字段。优化了SELECT COUNT的性能。增加迁移进度获取接口。 Iceberg DLF支持配置dlf.catalog.id。【问题修复】修复LIKE查询重写异常问题。修复show data数据显示不准确的问题。
3.2.9-1.67	2024年08月16日	【功能优化】优化Hive Sink的性能。【问题修复】修复Hive Catalog与Ranger之间的权限适配问题。修复Count优化引发的Crash问题。修复因获取Snapinfo导致MV刷新效率低的问题。修复存算分离表中Compaction Manager元数据膨胀的问题。修复一个导致CN节点Crash的问题。修复升级3.2.9后Prepare Statement无法使用的问题。修复开启Spill后出现的数据不一致的问题。
3.2.9-1.66	2024年08月09日	【新增功能】支持在父目录不存在的情况下写入OSS-HDFS文件。 Broker Load支持Jindo。实现OSS-HDFS对不同引擎的自动识别。【功能优化】优化Compaction日志，以便更高效地进行诊断与分析。 CN启动时创建star mgr目录。优化了FE Redirect的默认配置。优化了不必要的日志记录和配置项，提升性能。存算分离增加了更多IO监控指标，以提高整体运维能力。优化了存算分离自适应IO策略。【问题修复】支持外表访问GCS和Azure数据。修复在Spill结果超过4 GB后出现的报错。修复Spill preagg导致的错误结果。修复物化视图非预期刷新的问题。修复PK索引内存统计问题。修复统计信息不准确的问题。修复insert任务无法取消的问题。修复因Schema变更导致的plan错误。修复外表无法获取CN信息的问题。
3.2.9-1.65	2024年07月19日	【新增功能】升级Jindo SDK 版本到6.5.0。 Iceberg支持DLF Catalog。存算分离集群支持Shard重平衡。支持regexp_split方法。【功能优化】 `get_txn_status_internal_sec`默认等待时间从30秒缩短至10秒，来避免Stream Load在Publish阶段被延迟。支持动态修改`pindex_shared_data_gc_evict_interval_seconds`参数来调整存算分离集群主键表的本地持久化索引（Local Persistent Index）的GC间隔时间。【问题修复】修复导出数据到OSS时偶发Jindo crc mismatch的问题。修复偶发性访问OSS-HDFS时文件不存在的问题。修复SQL语法错误误报为“Lost Connection”的问题。
3.2.8-1.62	2024年06月27日	【新增功能】 Unified Catalog支持Kudu、Paimon，支持建立DLF类型的Unified Catalog。支持生成血缘日志。在使用describe和show create命令查询时，支持查看外表的comment信息。【问题修复】修复存算分离集群中外表无法写入数据的问题。修复Paimon物化视图刷新时，如果分区列包含NULL值，可能刷新失败的问题。修复内存统计不准确的问题。
3.2.6-1.60	2024年06月06日	【新增功能】支持将解析失败的SQL归类为“bad sql”。支持Kudu Connector。【功能优化】新增了`enable_pipeline_engine`配置。【问题修复】修复集群迁移任务未能正确获取源集群Schema，导致BE崩溃的问题。修复内存统计信息不准确的问题。修复Paimon在读取只读表时的性能问题。
3.2.6-1.59	2024年05月31日	【新增功能】在查询详情中新增显示语法解析错误的“bad sql”信息。【功能优化】支持Paimon进行delete vector查询。【问题修复】修复Paimon Catalog无法使用DLF自定义目录的问题。修复创建Paimon Catalog时必须指定warehouse的问题。
3.2.6-1.57	2024年05月23日	说明如果您正在使用低于3.2.6-1.57的版本，建议您升级至该版本或更高版本。【新增功能】支持存算分离内表通过`OPTIMIZE`命令优化桶存储布局。【功能优化】新增FE配置`fragment_profile_drop_threshold_ms`，支持在控制台进行默认配置。同时，将`drop fragment profile`的默认阈值设置为0，即默认关闭此特性。针对存算分离内表刷新提供独立的线程池配置`lake_flush_thread_num_per_store`，默认值为`2 * CPU数量`，旨在优化写入IO吞吐性能。优化IO合并策略，允许直接读取整个小文件。调整部分跨集群迁移配置的默认值。【问题修复】修复由于report_exec_stat RPC连接失败而未能重新建立连接的问题，该问题会导致`INSERT INTO`操作失败和Profile采集失败。修复由于MV Index引入的问题，该问题会导致FE执行元数据replay时频繁崩溃。修复3.2.6版本之后引入的AST Cache问题，该问题会导致部分物化视图无法创建。
3.2.6-1.52	2024年05月08日	【新增功能】支持创建DLF库表元数据。【问题修复】修复开启`lake_tablet_internal_parallel`配置后，获取Tablet元数据报错的问题。修复`INSERT INTO`导入操作超时的问题，通过在BE节点增加`thrift_rpc_timeout_ms`配置来调整RPC超时时间。修复Schema Change长时间未响应的问题。
3.2.4-1.37	2024年03月08日	支持跨集群数据迁移。主键（PK）表支持Size-Tiered Compaction。

3.1

说明

Serverless StarRocks 3.1版本基于Linux Foundation Project StarRocks开发。有关社区功能更新的详细信息，请参见StarRocks version 3.1。

版本号	发布时间	说明
3.1.9-1.58	2024年05月24日	说明如果您正在使用低于3.1.9-1.58的版本，建议您升级至该版本或更高版本。【新增功能】支持存算分离内表通过`OPTIMIZE`命令优化桶存储布局。【功能优化】新增FE配置`fragment_profile_drop_threshold_ms`，支持在控制台进行默认配置。同时，将`drop fragment profile`的默认阈值设置为0，即默认关闭此特性。优化了集群迁移功能。【问题修复】修复报告状态功能中的卡顿故障。修复Paimon Catalog无法使用DLF自定义目录的问题。修复创建Paimon Catalog时必须指定warehouse的问题。修复集群迁移任务未能正确获取源集群Schema，导致BE崩溃的问题。修复JDBC连接字符串解析异常问题。
3.1.9-1.36	2024年03月27日	支持跨集群迁移。针对Delta外部表的查询和处理时长问题进行了优化。主键表支持Size-Tiered Compaction策略。修复FE服务重启后的物化视图刷新延迟的问题。修复Stream Load操作占用FE内存的问题。修复存算分离架构中，主键表本地持久化索引的垃圾回收（Garbage Collection）和淘汰机制对计算节点（CN）未生效的问题，避免无用数据的堆积。修复主键索引导致的BE崩溃问题。修复使用Paimon外表和Hive Catalog进行查询时出现的错误。
3.1.7-1.34	2024年03月08日	支持读取MaxCompute内表数据进行分析。支持数据湖分析版本（配合EMR Serverless StarRocks控制台优化）。优化Jindo内存使用效率。优化Compaction的诊断分析信息。优化FE日志内容。修复UDF场景中的Crash问题。支持Delta Lake表元数据缓存（Cache）功能。修复StarRocks访问ADB（AnalyticDB）时的异常问题。修复limit导致的重复过滤问题。修复update操作执行失败的问题。
3.1.5-1.9	2024年01月11日	【新增功能】对Paimon查询引擎进行了深度优化。存算分离模式增加了Cache Manager能力，支持文件缓存统计信息的采集。存算分离模式默认情况下关闭Safe Mode。支持对查询热点Tablet的性能指标（metrics）进行监控。新增了max_tablet_rowset_num指标。新增了关于主键模型表persistence index占用空间分布的监控指标。【功能优化】提升了在Kubernetes环境中DNS解析的性能。新增了Frontend（FE）锁超时检测机制。默认情况下开启Profile。【问题修复】修复存算分离模式下主键表和明细表schema change操作后可能出现的short key排序异常问题。解决了Kafka中存在的CVE-2023-25194安全漏洞。修复在Kubernetes环境中Follower节点进行Stream Load操作失败的问题。解决了存算分离模式下compaction scheduler可能遇到的死锁问题。

2.5

说明

Serverless StarRocks 2.5版本基于Linux Foundation Project StarRocks开发。有关社区功能更新的详细信息，请参见StarRocks version 2.5。

小版本	发布时间	说明
2.5.22-1.73	2024年10月09日	解决了count distinct的查询阻塞问题。支持新版本的Spark Connector。
2.5.18-1.35	2024年03月08日	优化Jindo内存的使用优化Compaction的诊断分析信息修复UDF场景Crash问题优化FE日志内容
2.5.13-1.28	2024年01月11日	【新增功能】对Paimon查询引擎进行了深度优化。新增了运行中的大查询列表，用于实时展示当前系统中正在执行的大型或复杂查询任务列表。支持对查询热点Tablet的性能指标（metrics）进行监控。新增了max_tablet_rowset_num指标。新增了convert_tz函数。 create tablet慢相关诊断信息。【功能优化】默认情况下开启Profile。对JNI框架进行了优化，增强了对富文本内容的处理能力。新增了Frontend（FE）锁超时检测机制。对Delta Lake查询规划进行了性能优化。【问题修复】修复Stop BE操作时可能导致的服务卡顿问题。修复Delta Lake表查询过程中出现的异常问题。修复ORC格式文件中的时间戳字段解析异常的问题。解决了由于Materialized View（MV）rewrite操作引起的Frontend（FE）死锁问题。修复由于动态分区属性调整错误导致的Frontend（FE）启动异常的问题。

3.3

3.3.13-1.0.0版本

发布时间

更新内容

3.3.8-1.98及之前版本

3.2

3.1

2.5

相关文档