文档

内核发布记录

更新时间:

本文为您介绍EMR Serverless StarRocks内核的功能动态。

3.2

说明

Serverless StarRocks 3.2版本基于Linux Foundation Project StarRocks开发。有关社区功能更新的详细信息,请参见StarRocks version 3.2

版本号

发布时间

说明

3.2.8-1.62

2024年06月27日

【新增功能】

  • Unified Catalog支持Kudu、Paimon,支持建立DLF类型的Unified Catalog。

  • 支持生成血缘日志。

  • 在使用describe和show create命令查询时,支持查看外表的comment信息。

【问题修复】

  • 修复了存算分离集群中外表无法写入数据的问题。

  • 修复了Paimon物化视图刷新时,如果分区列包含NULL值,可能刷新失败的问题。

  • 修复了内存统计不准确的问题。

3.2.6-1.60

2024年06月06日

【新增功能】

  • 支持将解析失败的SQL归类为“bad sql”。

  • 支持Kudu Connector。

【功能优化】新增了enable_pipeline_engine配置。

【问题修复】

  • 修复了集群迁移任务未能正确获取源集群Schema,导致BE崩溃的问题。

  • 修复了内存统计信息不准确的问题。

  • 修复了Paimon在读取只读表时的性能问题。

3.2.6-1.59

2024年05月31日

【新增功能】在查询详情中新增显示语法解析错误的“bad sql”信息。

【功能优化】支持Paimon进行delete vector查询。

【问题修复】

  • 修复了Paimon Catalog无法使用DLF自定义目录的问题。

  • 修复了创建Paimon Catalog时必须指定warehouse的问题。

3.2.6-1.57

2024年05月23日

说明

如果您正在使用低于3.2.6-1.57的版本,建议您升级至该版本或更高版本。

【新增功能】支持存算分离内表通过OPTIMIZE命令优化桶存储布局。

【功能优化】

  • 新增FE配置fragment_profile_drop_threshold_ms,支持在控制台进行默认配置。同时,将drop fragment profile的默认阈值设置为0,即默认关闭此特性。

  • 针对存算分离内表刷新提供独立的线程池配置lake_flush_thread_num_per_store,默认值为2 * CPU数量,旨在优化写入IO吞吐性能。

  • 优化IO合并策略,允许直接读取整个小文件。

  • 调整部分跨集群迁移配置的默认值。

【问题修复】

  • 修复了由于report_exec_stat RPC连接失败而未能重新建立连接的问题,该问题会导致INSERT INTO操作失败和Profile采集失败。

  • 修复了由于MV Index引入的问题,该问题会导致FE执行元数据replay时频繁崩溃。

  • 修复了3.2.6版本之后引入的AST Cache问题,该问题会导致部分物化视图无法创建。

3.2.6-1.52

2024年05月08日

【新增功能】支持创建DLF库表元数据。

【问题修复】

  • 修复了开启lake_tablet_internal_parallel配置后,获取Tablet元数据报错的问题。

  • 修复了INSERT INTO导入操作超时的问题,通过在BE节点增加thrift_rpc_timeout_ms配置来调整RPC超时时间。

  • 修复了Schema Change长时间未响应的问题。

3.2.4-1.37

2024年03月08日

  • 支持跨集群数据迁移。

  • 主键(PK)表支持Size-Tiered Compaction。

3.1

说明

Serverless StarRocks 3.1版本基于Linux Foundation Project StarRocks开发。有关社区功能更新的详细信息,请参见StarRocks version 3.1

版本号

发布时间

说明

3.1.9-1.58

2024年05月24日

说明

如果您正在使用低于3.1.9-1.58的版本,建议您升级至该版本或更高版本。

【新增功能】支持存算分离内表通过OPTIMIZE命令优化桶存储布局。

【功能优化】

  • 新增FE配置fragment_profile_drop_threshold_ms,支持在控制台进行默认配置。同时,将drop fragment profile的默认阈值设置为0,即默认关闭此特性。

  • 优化了集群迁移功能。

【问题修复】

  • 修复了报告状态功能中的卡顿故障。

  • 修复了Paimon Catalog无法使用DLF自定义目录的问题。

  • 修复了创建Paimon Catalog时必须指定warehouse的问题。

  • 修复了集群迁移任务未能正确获取源集群Schema,导致BE崩溃的问题。

  • 修复了JDBC连接字符串解析异常问题。

3.1.9-1.36

2024年03月27日

  • 支持跨集群迁移。

  • 针对Delta外部表的查询和处理时长问题进行了优化。

  • 主键表支持Size-Tiered Compaction策略。

  • 修复了FE服务重启后的物化视图刷新延迟的问题。

  • 修复了Stream Load操作占用FE内存的问题。

  • 修复了存算分离架构中,主键表本地持久化索引的垃圾回收(Garbage Collection)和淘汰机制对计算节点(CN)未生效的问题,避免无用数据的堆积。

  • 修复了主键索引导致的BE崩溃问题。

  • 修复了使用Paimon外表和Hive Catalog进行查询时出现的错误。

3.1.7-1.34

2024年03月08日

  • 支持读取MaxCompute内表数据进行分析。

  • 支持数据湖分析版本(配合EMR Serverless StarRocks控制台优化)。

  • 优化Jindo内存使用效率。

  • 优化Compaction的诊断分析信息。

  • 优化FE日志内容。

  • 修复了UDF场景中的Crash问题。

  • 支持Delta Lake表元数据缓存(Cache)功能。

  • 修复StarRocks访问ADB(AnalyticDB)时的异常问题。

  • 修复limit导致的重复过滤问题。

  • 修复update操作执行失败的问题。

3.1.5-1.9

2024年01月11日

【新增功能】

  • 对Paimon查询引擎进行了深度优化。

  • 存算分离模式增加了Cache Manager能力,支持文件缓存统计信息的采集。

  • 存算分离模式默认情况下关闭Safe Mode。

  • 支持对查询热点Tablet的性能指标(metrics)进行监控。

  • 新增了max_tablet_rowset_num指标。

  • 新增了关于主键模型表persistence index占用空间分布的监控指标。

【功能优化】

  • 提升了在Kubernetes环境中DNS解析的性能。

  • 新增了Frontend(FE)锁超时检测机制。

  • 默认情况下开启Profile。

【问题修复】

  • 修复了存算分离模式下主键表和明细表schema change操作后可能出现的short key排序异常问题。

  • 解决了Kafka中存在的CVE-2023-25194安全漏洞。

  • 修复了在Kubernetes环境中Follower节点进行Stream Load操作失败的问题。

  • 解决了存算分离模式下compaction scheduler可能遇到的死锁问题。

2.5

说明

Serverless StarRocks 2.5版本基于Linux Foundation Project StarRocks开发。有关社区功能更新的详细信息,请参见StarRocks version 2.5

小版本

发布时间

说明

2.5.18-1.35

2024年03月08日

  • 优化Jindo内存的使用

  • 优化Compaction的诊断分析信息

  • 修复UDF场景Crash问题

  • 优化FE日志内容

2.5.13-1.28

2024年01月11日

【新增功能】

  • 对Paimon查询引擎进行了深度优化。

  • 新增了运行中的大查询列表,用于实时展示当前系统中正在执行的大型或复杂查询任务列表。

  • 支持对查询热点Tablet的性能指标(metrics)进行监控。

  • 新增了max_tablet_rowset_num指标。

  • 新增了convert_tz函数。

  • create tablet慢相关诊断信息。

【功能优化】

  • 默认情况下开启Profile。

  • 对JNI框架进行了优化,增强了对富文本内容的处理能力。

  • 新增了Frontend(FE)锁超时检测机制。

  • 对Delta Lake查询规划进行了性能优化。

【问题修复】

  • 修复了Stop BE操作时可能导致的服务卡顿问题。

  • 修复了Delta Lake表查询过程中出现的异常问题。

  • 修复了ORC格式文件中的时间戳字段解析异常的问题。

  • 解决了由于Materialized View(MV)rewrite操作引起的Frontend(FE)死锁问题。

  • 修复了由于动态分区属性调整错误导致的Frontend(FE)启动异常的问题。

相关文档

如果需要了解EMR Serverless StarRocks控制台的最新功能更新,请参见控制台发布记录