内核发布记录

本文介绍云数据库 SelectDB 版的内核功能动态

4.0

说明
  • 云数据库 SelectDB 版内核4.0版本是基于Apache Doris 3.0开发的。更多详情,请参见:Apache Doris 3.0

  • 内核4.0版本目前已全面放开可用。您可通过以下两种方式,使用此版本。

    • 新建实例:在新建实例页面配置内核版本为4.0。如何新建实例,请参见创建实例

    • 升级实例:将您的实例先升级到3.0.9或以上3.0.x的版本,然后再升级到4.0.x版本。如何升级,请参见升级内核版本

版本号

发布时间

说明

相关文档

4.0.4

20241206

【新增】

  • 支持了Apache Doris 3.0.3的所有功能。

  • 支持了JDBC Catalogtext字段类型数组形式。

  • 支持了MaxCompute(MC) Catalogtimestamp字段类型。

【优化】

  • 通过解决Load Segment过程中大量耗费CPU的问题,进而提高了查询性能。

  • 通过优化文件缓存策略,减少了查询响应时间波动。

  • 优化了文件缓存回收机制。

  • 优化了information_schema查询性能。

  • 优化了元数据锁机制。

  • 优化了delete bitmap锁机制。

  • 优化了Compressed Class Space的内存管理。

  • 移除了存在SSRF风险的接口,提高了安全能力。

  • 优化了Audit Log统计性能。

  • 优化了分页查询窗口函数的性能。

  • 优化了MoW表时序Compaction的性能。

【修复】

  • 修复了因修改MoW表属性disable_auto_compaction导致表数据不可用的问题。

  • 修复了MoW表高峰期导入失败的问题。

  • 修复了Routine Load的一些问题,例如其可能会导致数据丢、可能会卡住、提交事务失败的问题。

  • 修复了重启实例接入模块后Routine Load被暂停及报错的问题。

  • 修复了Group Commit可能会报错的问题。

  • 修复了实例升级内核版本到4.0.4后查询数据量会变多的问题。

  • 修复了点查询走预编译不返回结果集的问题。

  • 修复了表模型为Unique时,表的主键字段可能出现重复的问题。

  • 修复了因为回收stale rowset时导致miss cache而延长了查询响应时间的问题。

  • 修复了CDC部分列更新与Stream Load拼宽表结果不一致问题。

  • 修复了集群多节点Core Dump的问题。

  • 修复了异步物化视图跨集群读取表时的元数据异常问题。

  • 修复了insert overwrite写入Auto Partition表时的数据质量校验异常问题。

  • 修复了insert overwrite写入报错的问题。

  • 修复了不允许在同一个表上运行insert overwrite的问题。

  • 修复了insert into select因数据质量问题失败而无错误URL的问题。

  • 修复了高并发点查场景下stmtId溢出导致的Prepared Statement异常问题。

  • 修复了升级到4.0.4版本后执行ConvertTz函数时因未初始化状态导致的RUNTIME_ERROR问题。

  • 修复了集群重启慢的问题。

  • 修复了短词匹配NOT不生效问题。

  • 修复了Schema ChangeCompaction恢复的问题。

  • 修复了Schema Change空分区导致的数据导入报错及版本超限的问题。

  • 修复了JDBC连接泄漏的问题。

  • 修复了PostgreSQL(PG) Catalog连接泄漏的问题。

  • 修复了MaxCompute(MC) Catalog分区裁剪未生效的问题。

  • 修复了提前淘汰缓存数据导致本地File Cache骤降的问题。

  • 修复了SQL Cache导致结果错误的问题。

  • 修复了split_part函数计算错误的问题。

  • 修复了字段命名规则兼容性的问题。

  • 修复了多线程等待自旋锁导致的查询延迟问题。

  • 修复了短时网络抖动导致集群节点异常下线的问题。

  • 修复了短暂查询报COMPUTE_GROUPS_NO_ALIVE_BE的问题。

  • 修复了window_funnel函数timestamp列不支持高精度的问题。

  • 修复了查询规划超时的问题。

  • 修复了explode_variant_array Core Dump的问题。

  • 修复了查询数据未命中物化视图的问题。

  • 修复了错误日志URL过长无法访问的问题。

Apache Doris 3.0.3

4.0.3

20241011

【新增】

  • 支持了Apache Doris 3.0.2的所有功能。

  • 支持了超大事务导入功能(默认为关闭状态)。

【优化】

  • 默认情况下禁用java_udf

  • 优化了日志场景top n查询性能。

  • 通过短路径优化了点查性能。

  • 优化了Tablet裁剪,提升了查询性能。

【修复】

  • 修复了回放Catalog可能会导致后台启动实例失败的问题。

  • 修复了从SelectDB Core 3.0.x升级到SelectDB Core 4.0.x之后,审计日志组件无法正常工作的问题。

  • 修复了升级到SelectDB Core 4.0.2后,默认计算集群权限被限制的问题。

  • 修复了常量折叠RPC(Remote Procedure Call)可能会跨计算集群的问题。

  • 修复了转发SQL时可能找不到计算集群的问题。

  • 修复了Compaction delete bitmap空指针Core Dump问题。

  • 修复了MoWdelete bitmap过大不能触发Full Compaction的问题。

  • 修复了select *定义的物化视图构建失败的问题。

Apache Doris 3.0.2

4.0.2-beta

20240825

【新增】

  • 支持了Apache Doris 3.0.1的所有功能。

【修复】

  • 修复了使用同一标签导入时,在大量导入失败的情况下可能导致导入性能下降的问题。

  • 修复了集群扩容可能导致实例版本升级卡住的问题。

  • 修复了Runtime Filter内存泄漏的问题。

Apache Doris 3.0.1

4.0.1-beta

20240709

【新增】

  • 支持SelectDB Core3.0.x(x >= 9)升级到4.0.x。

  • 支持了Apache Doris 3.0.0的所有功能。

【修复】

  • 修复了从SelectDB Core 3.0.9版升级后需要后台重启实例来恢复Cluster权限的问题。

  • 修复了反向索引查询可能会卡住的问题。

Apache Doris 3.0.0

4.0.0-beta

20240515

【新增】

  • 支持了多表物化视图(MTMV),支持透明改写加速、自动刷新、外表到内表的物化视图以及物化视图直查,基于这一能力,物化视图也可用于数据仓库分层建模、作业调度和数据加工。

  • 支持了全新的VariantIP数据类型,完善了一系列分析函数,使得面向复杂半结构化数据的存储和分析处理变得更加轻松。

  • 支持了自增列、自动分区、服务端积攒批量请求后集中提交的能力,提高了大规模数据实时写入的效率。

  • 支持了基于Arrow Flight的高速读取接口,使得数据传输效率增加了100倍,轻松面向数据科学以及其他形式的大规模数据读取场景。

  • 支持了Apache Doris 2.1.0的所有功能。

【优化】

  • 大幅提升了开箱盲测查询性能,在不做调优的情况下取得较好的性能表现,包含了对复杂SQL查询性能的进一步提升,在TPC-DS 1 TB测试数据集上获得超过100%的性能提升,查询性能在业界处于先进位置。

  • 大幅提升了数据湖分析方面的性能,相对于TrinoSpark分别有46倍的性能提升,并引入了多SQL方言兼容、便于您可以从原有系统无缝切换至 云数据库 SelectDB 版

Apache Doris 2.1.0

3.0

说明

云数据库 SelectDB 版内核3.0版本是基于Apache Doris 2.0开发的。更多详情,请参见Apache Doris 2.0

版本号

发布时间

说明

相关文档

3.0.12

20250219

【新增】

支持了Stream LoadJSON数据格式压缩后导入。

【优化】

优化了上传对象重试策略和连接超时,提高了导入稳定性。

【修复】

  • 修复了高频Stream Load导致实例接入模块的CPU使用率可能会100%的问题。

  • 修复了导入过程中实例接入模块内存泄漏的问题。

  • 修复了导入过程中写索引文件失败导致导入失败的问题。

  • 修复了导入可能会上传失败的问题。

  • 修复了MoW长时间持锁导致导入失败的问题。

  • 修复了Schema Change可能会导致Base Compaction失败的问题。

  • 修复了Routine Load可能会卡住的问题。

  • 修复了导入时JSON数据类型double值会被处理为0的问题。

  • 修复了Audit Log表不能grant权限的问题。

  • 修复了Audit Log Query时间重复的问题。

  • 修复了SQL Hash重复的问题。

  • 修复了反向索引UTF-8编解码可能导致错误的问题。

  • 修复了短时网络抖动导致集群节点异常下线的问题。

  • 修复了insert into select查询结果为空时触发执行异常的问题。

Apache Doris 2.0.15

3.0.11

20241110

【新增】

  • 支持了Apache Doris 2.0.15的所有功能。

【优化】

  • 提高了File Cache命中率。

【修复】

  • 修复了Agg表查询结果可能不对的问题。

  • 修复了struct类型查询可能会不可能用的问题。

  • 修复了window_funnel函数不支持datetime v2的问题。

  • 修复了insert into select可能会报权限不正确的问题。

  • 修复了Routine Load事务不能正确Abort的问题。

  • 修复了查询或者Compaction时报"bad page"的问题。

Apache Doris 2.0.15

3.0.10

20240823

【新增】

  • 支持了Apache Doris 2.0.13的所有功能。

【优化】

  • 优化了多个Tablet映射分布不一致的问题。

【修复】

  • 修复了insert into select新优化器不能自动重试的问题。

  • 修复了Schema Change双写nullable类型节点重启的问题。

  • 修复了File Cache Disposable可能被其他队列占满导致Compaction/Schema Change变慢的问题。

Apache Doris 2.0.13

3.0.9

20240625

【新增】

支持了Apache Doris 2.0.11SelectDB Core 3.0.8的所有功能。

【优化】

  • 优化了MoW表导入计算delete bitmap,提升了导入速度和鲁棒性。

  • 优化了show data的响应速度。

  • 优化了反向索引以及半结构化数据查询性能。

【修复】

  • 修复了copy into任务过多导致实例OOM的问题。

  • 修复了alter job过多可能导致实例OOM的问题。

  • 修复了实例Metrics在多Cluster时可能会有Metrics缺失的问题。

  • 修复了单个事务内多Tablet导入极端情况下某些TabletVersion的问题。

  • 修复了修改File Cache缓存大小之后实例不能立即感知的问题。

  • 修复了若干个JDBC外表连接的问题。

  • 修复了Elasticsearch Catalog无法使用esquery的问题。

  • 修复了Balance不均以及Decommission卡住的问题。

Apache Doris 2.0.11

3.0.8

20240515

【新增】

  • 支持了Apache Doris 2.0.10的所有功能。

  • 支持了show proc语句。

  • 支持了获取所有的JSON Keys。

【优化】

  • 优化了建表耗时。

  • 优化了MoWdelete bitmap计算速度,提高导入吞吐。

  • 优化了MoW表高频导入(版本多)查询速度。

  • 优化了查询效率。

【修复】

  • 修复了rename cluster之后指标不正确的问题。

  • 修复了rename cluster之后流量统计不准确的问题。

  • 修复了show processlist格式不对的问题。

  • 修复了Schema Change内存不够导致失败的问题。

  • 修复了Audit Log组件导入权限的问题。

  • 修复了datetimev2 round函数出错的问题。

  • 修复了nullable规划可能会导致Core Dump的问题。

  • 修复了nullable规划可能会导致结果错误的问题。

Apache Doris 2.0.10

3.0.7

20240331

【新增】

  • 支持了Apache Doris 2.0.6的所有功能。

  • 支持了审计日志插件(需要手动创建审计日志表)。

【优化】

  • 执行Query时如果User没设置default cluster,则按照Cluster名称词典顺序选取可用的(运行中的、有权限的)Cluster。

  • 优化了反向索引和日志场景的可用性和性能。

  • 新优化器优化了歧义的projection having语法。

  • 提升了反向索引compound in list性能。

【修复】

  • 修复了大量delete触发导入失败的问题。

  • 修复了统计信息的逻辑重复触发SQL导致集群自动停机的逻辑失效问题。

  • 修复了导入指定UTC时区转换错误的问题。

  • JDBC修复了show processlist报错的问题。

  • 修复了表属性ttl_seconds在做完Checkpoint之后重启清0的问题。

  • 修复了date/month/year add函数。

Apache Doris 2.0.6

3.0.6

20240205

【新增】

  • 支持了Apache Doris 2.0.4的所有功能。

  • 支持了自动Analyze。

  • 支持了宽表导入。

  • 支持了Group Commit(攒批导入/实时导入)。

  • 支持了in left join infer

【优化】

  • 优化了导入失败时的错误提示。

  • 提升了稳定性。

【修复】

  • 修复了集群重启可能会导致cluster权限失效的问题。

  • 修复了从SelectDB Core 2.4.x系列版本升级到3.0.x系列版本失败的问题。

  • 修复了show processlist指令输出排版错位的问题。

  • 修复了alter table TTL属性可能不生效(查询表结构TTL0)的问题。

  • 修复了查询偶尔报"failed to initialize storage reader"的问题。

  • 修复了Parquet Reader异常路径可能会导致内存泄漏的问题。

  • 修复了外表date_subdata_addto_date函数下推的问题。

  • 修复了colocate因为参与Balance导致colocate join规划失效的问题。

  • 修复了alter colocate属性Replay失败的问题。

  • 修复了delete条件带特殊字符导致不能查询数据的问题。

  • 修复了读查询小概率报NOT_IMPLEMENTED_ERROR的问题。

  • 修复了导入时区转换导致数据不正确的问题。

  • 修复了substr()传入负值会导致Core Dump的问题。

Apache Doris 2.0.4

3.0.5

20231220

【新增】

  • 支持了Apache Doris 2.0.3的所有功能。

    说明

    不建议开启自动Analyze功能。

  • 提供了Stream Load兼容API。

  • 开放了show proc/statistic的白名单。

【优化】

  • 提升了MoW表导入的稳定性。

  • 提升了Dynamic Table建表速度。

  • 提升了生成Plan的性能。

  • 优化了decimal运算行为。

  • 提升了稳定性。

【修复】

  • 修复了OSS Buffer不够可能会导致写入卡住的问题。

  • 修复了多集群场景下查询可能会报"failed to find version path"的问题。

  • 修复了多集群场景下Plan可能会跨集群的问题。

  • 修复了因为改变varchar长度导致Dynamic Partition不能新建Partition的问题。

  • 修复了show create table decimal数据字段不兼容SmartBI的问题。

  • 修复了列类型转换功能可能会不可用的问题。

  • 修复了行存表属性不生效的问题。

  • 修复了Base Compaction可能会失败的问题。

  • 修复了点查可能查不到最新数据的问题。

  • 修复了copy into重复文件需要等待超时的问题。

  • 修复了query_parallel_instance_num可能会除以0的问题。

  • 修复了Cache命中率计算可能会不准确的问题。

  • 修复了NGram索引不生效的问题。

Apache Doris 2.0.3

3.0.4

20231123

【新增】

  • 支持了show proc current_stmt

【优化】

  • 增强了访问控制安全性。

  • 增强了上传数据校验可靠性。

  • 提升了实例元数据服务可用性。

  • 优化了建表dynamic_partition.replication_num的错误提示。

【修复】

  • 修复了SelectDB Core 2.4.x升级到3.0.x可能会导致copy into失败的问题。

  • 修复了使用External Stage导入授权可能会失败的问题。

  • 修复了Routine Load导入可能会失败的问题。

  • 修复了MoW表导入可能会失败的问题。

  • 修复了实时写insert语句可能会失败的问题。

  • 修复了TPC-DS性能下降的问题。

  • 修复了非GlobalSession Variable可能不生效的问题。

  • 修复了Querywhere大量条件使CPU消耗高而执行慢的问题。

3.0.3

20231102

【新增】

  • 支持了Doris Clean Label。

  • Stream Load云上API兼容了Apache Doris社区行为。

  • 实例内置了JDBC Driver。

【优化】

  • 新优化器top n默认支持了Runtime Filter裁剪。

【修复】

  • 修复了实例因为资源泄漏导致查询响应慢的问题。

  • 修复了function语句禁用不生效的问题。

  • 修复了重排列Schema Change会失败的问题。

3.0.2

20231017

【新增】

  • 支持了Apache Doris 2.0.2的所有功能。

  • 支持了SelectDB Core 2.3.10以及2.4.4版本的所有功能。

  • 增加了OSS LoadJDBC Driver URL白名单功能。

【优化】

  • 减少了Plan时获取元数据的时间,加快了Plan的生成速度。

  • 增加了Query Profile访问元数据的耗时统计。

  • 均衡优化了资源利用率。

【修复】

  • 修复了设置File Cache TTL之后读写出错的问题。

  • 修复了查询backends表或rowsets表导致服务不可用的问题。

Apache Doris 2.0.2

3.0.1

20230918

【新增】

  • 支持了Apache Doris 2.0.1的所有功能。

  • 支持了SelectDB Core 2.4.3版本的所有功能。

【优化】

  • 优化了Get Version的耗时。

Apache Doris 2.0.1

2.4

说明
  • 云数据库 SelectDB 版内核2.4版本是基于Apache Doris 1.2开发的。更多详情,请参见Apache Doris 1.2

  • 目前云数据库 SelectDB 版内核2.4版本已下线,不再支持新购。

版本号

发布时间

说明

相关文档

2.4.6

20231114

【修复】

  • 修复了若干计算节点内存泄漏的问题。

2.4.5

20231106

【优化】

  • 优化了Balance的策略。

【修复】

  • 修复了replace tmp partition导致的查询失败问题。

  • 修复了pthreadbthread混用导致的死锁问题。

2.4.4

20230920

【优化】

  • 支持了SelectDB Core 2.3.92.3.10版本的所有功能。

  • 提升了导入功能的可用性。

【修复】

  • 修复了MySQL Session(请求Truncate Table,该Table包含大量Partition)无响应的问题。

2.4.3

20230911

【新增】

  • 支持了SelectDB Core 2.3.8版本的所有功能。

  • 支持了欠费停服。

【修复】

  • 修复Docker环境时区的问题。

2.4.2

20230828

【新增】

  • 支持了copy into导入方法设置常量值。

【优化】

  • 提升了存储信息统计的准确性。

【修复】

  • 修复了Cloud Stream Load有可能失败的问题。

2.4.1

20230803

【新增】

  • 支持了SelectDB Core 2.3.5、2.3.6以及2.3.7版本的所有功能

  • 支持了Stream Load导入数据。

  • 支持了已停机的按量付费集群接到查询请求时自动启动。

【修复】

  • 修复了倒排索引查询可能会失败的问题。

2.4.0

20230703

【新增】

  • 支持了通过Session Variable控制SQL是否使用缓存。

  • 支持了集群之间导入数据增量数据同步。

  • 支持了基于Table Cluster的缓存数据预热功能。

  • 支持了通过SQL查询缓存的使用情况。

  • 支持了按量付费集群闲置时自动停机。

【优化】

  • 增强了数据安全。

  • 提升了查询未命中缓存时的响应速度。

【修复】

  • 修复了set default cluster可能会失败的问题。

  • 修复了升级过程可能会失败的问题。

SelectDB其他历史内核版本的详细信息,请参见SelectDB Cloud的内核发布记录