内核发布记录

版本号

发布时间

说明

3.3.2-1.77

2024年11月19日

• 支持Cloud-Native PK Index。

• 支持OSS API访问的指标统计，以实现成本优化。

• FE查询调度容错优化，以提升稳定性。

• 修复社区3.3版本中关于Prepare日志记录的导致的稳定性问题。

• 默认启用Paimon Catalog级别缓存，以提升Paimon表的读取速度。

• Paimon表支持使用EXPLAIN ANALYZE进行性能分析。

• 优化Paimon表的执行计划。

• 修复Paimon Hive或DLF Catalog中可能出现的死锁问题。

• 修复无法查询Paimon系统表的问题。

• 修复DLF外表无法访问的问题。

版本号

发布时间

说明

3.2.11-1.79

2024年11月20日

【功能优化】

• 默认开启Paimon分区级别缓存，以提升查询速度。

• 优化了Paimon的统计信息功能。

• Audit log增加报错查询的错误信息。

【问题修复】

• 修复colocate tablets频繁迁移的问题。

• 修复访问OSS/OSS-HDFS上的Paimon表时出现的找不到OSS Scheme的问题。

• 修复无法创建DLF 2.0 Paimon表的问题。

• 修复写入Hive分区表时分区错误的问题。

• 修复array_to_bitmap函数处理常量结果时的错误。

3.2.11-1.76

2024年10月30日

【功能优化】

• 优化Profile采集策略，同时修复潜在的Crash问题。

• 增强存算分离架构的异常处理机制，提升了系统的容错性。

【问题修复】

• 修复向外部分区表插入数据时出现的结果错误问题。

• 修复线程泄漏引起的FE异常问题。

• 修改存算分离环境下PK表使用Bitmap类型后Crash的问题。

• 修复ToDataCacheInfo泄露问题，防止存算分离架构下FE内存溢出（OOM）。

• 解决了由于Query Cache导致的查询结果不正确问题。

• 修复部分Bucket Shuffle返回错误结果的问题。

• 修复访问表函数时生成空指针异常（NPE）的问题，提升了系统稳定性。

3.2.9-1.71

2024年09月14日

【新增功能】

• 支持Paimon表写入。

• 支持DLF2.0 Paimon Catalog的读写。

【功能优化】

• 支持Paimon表的Explain Analyze功能。

• 移除Paimon表的裁剪和统计信息。

• 在Current Query中新增SQL字段。

• 优化了SELECT COUNT的性能。

• 增加迁移进度获取接口。

• Iceberg DLF支持配置dlf.catalog.id。

【问题修复】

• 修复LIKE查询重写异常问题。

• 修复show data数据显示不准确的问题。

3.2.9-1.67

2024年08月16日

【功能优化】

• 优化Hive Sink的性能。

【问题修复】

• 修复Hive Catalog与Ranger之间的权限适配问题。

• 修复Count优化引发的Crash问题。

• 修复因获取Snapinfo导致MV刷新效率低的问题。

• 修复存算分离表中Compaction Manager元数据膨胀的问题。

• 修复一个导致CN节点Crash的问题。

• 修复升级3.2.9后Prepare Statement无法使用的问题。

• 修复开启Spill后出现的数据不一致的问题。

3.2.9-1.66

2024年08月09日

【新增功能】

• 支持在父目录不存在的情况下写入OSS-HDFS文件。

• Broker Load支持Jindo。

• 实现OSS-HDFS对不同引擎的自动识别。

【功能优化】

• 优化Compaction日志，以便更高效地进行诊断与分析。

• CN启动时创建star mgr目录。

• 优化了FE Redirect的默认配置。

• 优化了不必要的日志记录和配置项，提升性能。

• 存算分离增加了更多IO监控指标，以提高整体运维能力。

• 优化了存算分离自适应IO策略。

【问题修复】

• 支持外表访问GCS和Azure数据。

• 修复在Spill结果超过4 GB后出现的报错。

• 修复Spill preagg导致的错误结果。

• 修复物化视图非预期刷新的问题。

• 修复PK索引内存统计问题。

• 修复统计信息不准确的问题。

• 修复insert任务无法取消的问题。

• 修复因Schema变更导致的plan错误。

• 修复外表无法获取CN信息的问题。

3.2.9-1.65

2024年07月19日

【新增功能】

• 升级Jindo SDK 版本到6.5.0。

• Iceberg支持DLF Catalog。

• 存算分离集群支持Shard重平衡。

• 支持regexp_split方法。

【功能优化】

• get_txn_status_internal_sec默认等待时间从30秒缩短至10秒，来避免Stream Load在Publish阶段被延迟。

• 支持动态修改pindex_shared_data_gc_evict_interval_seconds参数来调整存算分离集群主键表的本地持久化索引（Local Persistent Index）的GC间隔时间。

【问题修复】

• 修复导出数据到OSS时偶发Jindo crc mismatch的问题。

• 修复偶发性访问OSS-HDFS时文件不存在的问题。

• 修复SQL语法错误误报为“Lost Connection”的问题。

3.2.8-1.62

2024年06月27日

【新增功能】

• Unified Catalog支持Kudu、Paimon，支持建立DLF类型的Unified Catalog。

• 支持生成血缘日志。

• 在使用describe和show create命令查询时，支持查看外表的comment信息。

【问题修复】

• 修复存算分离集群中外表无法写入数据的问题。

• 修复Paimon物化视图刷新时，如果分区列包含NULL值，可能刷新失败的问题。

• 修复内存统计不准确的问题。

3.2.6-1.60

2024年06月06日

【新增功能】

• 支持将解析失败的SQL归类为“bad sql”。

• 支持Kudu Connector。

【功能优化】新增了enable_pipeline_engine配置。

【问题修复】

• 修复集群迁移任务未能正确获取源集群Schema，导致BE崩溃的问题。

• 修复内存统计信息不准确的问题。

• 修复Paimon在读取只读表时的性能问题。

3.2.6-1.59

2024年05月31日

【新增功能】在查询详情中新增显示语法解析错误的“bad sql”信息。

【功能优化】支持Paimon进行delete vector查询。

【问题修复】

• 修复Paimon Catalog无法使用DLF自定义目录的问题。

• 修复创建Paimon Catalog时必须指定warehouse的问题。

3.2.6-1.57

2024年05月23日

【新增功能】支持存算分离内表通过OPTIMIZE命令优化桶存储布局。

【功能优化】

• 新增FE配置fragment_profile_drop_threshold_ms，支持在控制台进行默认配置。同时，将drop fragment profile的默认阈值设置为0，即默认关闭此特性。

• 针对存算分离内表刷新提供独立的线程池配置lake_flush_thread_num_per_store，默认值为2 * CPU数量，旨在优化写入IO吞吐性能。

• 优化IO合并策略，允许直接读取整个小文件。

• 调整部分跨集群迁移配置的默认值。

【问题修复】

• 修复由于report_exec_stat RPC连接失败而未能重新建立连接的问题，该问题会导致INSERT INTO操作失败和Profile采集失败。

• 修复由于MV Index引入的问题，该问题会导致FE执行元数据replay时频繁崩溃。

• 修复3.2.6版本之后引入的AST Cache问题，该问题会导致部分物化视图无法创建。

3.2.6-1.52

2024年05月08日

【新增功能】支持创建DLF库表元数据。

【问题修复】

• 修复开启lake_tablet_internal_parallel配置后，获取Tablet元数据报错的问题。

• 修复INSERT INTO导入操作超时的问题，通过在BE节点增加thrift_rpc_timeout_ms配置来调整RPC超时时间。

• 修复Schema Change长时间未响应的问题。

3.2.4-1.37

2024年03月08日

• 支持跨集群数据迁移。

• 主键（PK）表支持Size-Tiered Compaction。

版本号

发布时间

说明

3.1.9-1.58

2024年05月24日

【新增功能】支持存算分离内表通过OPTIMIZE命令优化桶存储布局。

【功能优化】

• 新增FE配置fragment_profile_drop_threshold_ms，支持在控制台进行默认配置。同时，将drop fragment profile的默认阈值设置为0，即默认关闭此特性。

• 优化了集群迁移功能。

【问题修复】

• 修复报告状态功能中的卡顿故障。

• 修复Paimon Catalog无法使用DLF自定义目录的问题。

• 修复创建Paimon Catalog时必须指定warehouse的问题。

• 修复集群迁移任务未能正确获取源集群Schema，导致BE崩溃的问题。

• 修复JDBC连接字符串解析异常问题。

3.1.9-1.36

2024年03月27日

• 支持跨集群迁移。

• 针对Delta外部表的查询和处理时长问题进行了优化。

• 主键表支持Size-Tiered Compaction策略。

• 修复FE服务重启后的物化视图刷新延迟的问题。

• 修复Stream Load操作占用FE内存的问题。

• 修复存算分离架构中，主键表本地持久化索引的垃圾回收（Garbage Collection）和淘汰机制对计算节点（CN）未生效的问题，避免无用数据的堆积。

• 修复主键索引导致的BE崩溃问题。

• 修复使用Paimon外表和Hive Catalog进行查询时出现的错误。

3.1.7-1.34

2024年03月08日

• 支持读取MaxCompute内表数据进行分析。

• 支持数据湖分析版本（配合EMR Serverless StarRocks控制台优化）。

• 优化Jindo内存使用效率。

• 优化Compaction的诊断分析信息。

• 优化FE日志内容。

• 修复UDF场景中的Crash问题。

• 支持Delta Lake表元数据缓存（Cache）功能。

• 修复StarRocks访问ADB（AnalyticDB）时的异常问题。

• 修复limit导致的重复过滤问题。

• 修复update操作执行失败的问题。

3.1.5-1.9

2024年01月11日

【新增功能】

• 对Paimon查询引擎进行了深度优化。

• 存算分离模式增加了Cache Manager能力，支持文件缓存统计信息的采集。

• 存算分离模式默认情况下关闭Safe Mode。

• 支持对查询热点Tablet的性能指标（metrics）进行监控。

• 新增了max_tablet_rowset_num指标。

• 新增了关于主键模型表persistence index占用空间分布的监控指标。

【功能优化】

• 提升了在Kubernetes环境中DNS解析的性能。

• 新增了Frontend（FE）锁超时检测机制。

• 默认情况下开启Profile。

【问题修复】

• 修复存算分离模式下主键表和明细表schema change操作后可能出现的short key排序异常问题。

• 解决了Kafka中存在的CVE-2023-25194安全漏洞。

• 修复在Kubernetes环境中Follower节点进行Stream Load操作失败的问题。

• 解决了存算分离模式下compaction scheduler可能遇到的死锁问题。

小版本

发布时间

说明

2.5.22-1.73

2024年10月09日

• 解决了count distinct的卡死问题。

• 支持新版本的Spark Connector。

2.5.18-1.35

2024年03月08日

• 优化Jindo内存的使用

• 优化Compaction的诊断分析信息

• 修复UDF场景Crash问题

• 优化FE日志内容

2.5.13-1.28

2024年01月11日

【新增功能】

• 对Paimon查询引擎进行了深度优化。

• 新增了运行中的大查询列表，用于实时展示当前系统中正在执行的大型或复杂查询任务列表。

• 支持对查询热点Tablet的性能指标（metrics）进行监控。

• 新增了max_tablet_rowset_num指标。

• 新增了convert_tz函数。

• create tablet慢相关诊断信息。

【功能优化】

• 默认情况下开启Profile。

• 对JNI框架进行了优化，增强了对富文本内容的处理能力。

• 新增了Frontend（FE）锁超时检测机制。

• 对Delta Lake查询规划进行了性能优化。

【问题修复】

• 修复Stop BE操作时可能导致的服务卡顿问题。

• 修复Delta Lake表查询过程中出现的异常问题。

• 修复ORC格式文件中的时间戳字段解析异常的问题。

• 解决了由于Materialized View（MV）rewrite操作引起的Frontend（FE）死锁问题。

• 修复由于动态分区属性调整错误导致的Frontend（FE）启动异常的问题。