文档

内核发布记录

更新时间:
一键部署

本文介绍云数据库 SelectDB 版的内核功能动态

4.0

说明
  1. 云数据库 SelectDB 版的内核版本4.0基于 Apache Doris 2.1 和 3.0 开发。Apache Doris 2.1 的版本说明,请参见Release 2.1.0

  2. 目前灰度邀测中,需要您提供阿里云账号ID给产品经理添加白名单后才可见。

版本号

发布时间

说明

4.0.1

2024年07月09日

【新增】

  • 支持SelectDBCore 从 3.0.x(x >= 9)升级到4.0.1。

【优化】

4.0.0-beta

2024年05月15日

【新增】

  • 支持了多表物化视图(MTMV),支持透明改写加速、自动刷新、外表到内表的物化视图以及物化视图直查,基于这一能力,物化视图也可用于数据仓库分层建模、作业调度和数据加工。

  • 支持了全新的Variant和IP数据类型,完善了一系列分析函数,使得面向复杂半结构化数据的存储和分析处理变得更加轻松。

  • 支持了自增列、自动分区、服务端积攒批量请求后集中提交的能力,提高了大规模数据实时写入的效率。

  • 支持了基于Arrow Flight的高速读取接口,使得数据传输效率增加了100倍,轻松面向数据科学以及其他形式的大规模数据读取场景。

【优化】

  • 大幅提升了开箱盲测查询性能,在不做调优的情况下取得较好的性能表现,包含了对复杂SQL查询性能的进一步提升,在TPC-DS 1 TB测试数据集上获得超过100%的性能提升,查询性能在业界处于先进位置。

  • 大幅提升了数据湖分析方面的性能,相对于Trino和Spark分别有4到6倍的性能提升,并引入了多SQL方言兼容、便于您可以从原有系统无缝切换至 云数据库 SelectDB 版

3.0

说明

云数据库 SelectDB 版的内核版本3.0基于Apache Doris 2.0开发。Apache Doris 2.0的版本说明,请参见Release 2.0.0

版本号

发布时间

说明

3.0.9

2024年06月25日

【优化】

  • 合入了Apache Doris 2.0.11版本的所有功能、改进优化和问题修复。

  • 合入了SelectDB Core 3.0.8版本的所有功能、改进优化和问题修复。

  • 优化了mow表导入计算delete bitmap,提升了导入速度和鲁棒性。

  • 优化了show data的响应速度。

  • 优化了反向索引以及半结构化数据查询性能。

【修复】

  • 修复了copy into任务过多导致实例OOM的问题。

  • 修复了alter job过多可能导致实例OOM的问题。

  • 修复了实例metrics在多cluster时可能会有metrics缺失的问题。

  • 修复了单个事务内多tablet导入极端情况下某些tablet缺version的问题。

  • 修复了修改file cache缓存大小之后实例不能立即感知的问题。

  • 修复了若干个JDBC外表连接的问题。

  • 修复了Elasticsearch Catalog无法使用esquery的问题。

  • 修复了balance不均以及decommission卡住的问题。

3.0.8

2024年05月15日

【新增】

  • 支持了recycler限速。

  • 支持了show proc语句。

  • 支持了获取所有的json keys。

【优化】

  • 合入Apache Doris 2.0.10版本的所有功能、改进优化和问题修复。

  • 优化了建表耗时。

  • 优化了mow表delete bitmap计算速度,提高导入吞吐。

  • 优化了mow表高频导入(版本多)查询速度。

  • 优化了查询效率。

【修复】

  • 修复了rename cluster之后指标不正确的问题。

  • 修复了rename cluster之后流量统计不准确的问题。

  • 修复了show processlist格式不对的问题。

  • 修复了schema change内存不够导致失败的问题。

  • 修复了audit log组件导入权限的问题。

  • 修复了datetimev2 round函数出错的问题。

  • 修复了nullable规划可能会导致coredump的问题。

  • 修复了nullable规划可能会导致结果错误的问题。

3.0.7

2024年03月31日

【新增】

  • 支持了审计日志插件(需要手动创建审计日志表)。

【优化】

  • 合入Apache Doris 2.0.6版本的所有功能、改进优化和问题修复。

  • 执行query时如果user没设置default cluster,则按照cluster名称词典顺序选取可用的(运行中的、有权限的)cluster。

  • 集群自动停机之后,触发自动启动集群不再需要显式use cluster。

  • 优化了反向索引和日志场景的可用性和性能。

  • 新优化器优化了歧义的projection having语法。

  • 提升了反向索引compound in list性能。

【修复】

  • 修复了大量delete触发导入失败的问题。

  • 修复了统计信息的逻辑重复触发SQL导致集群自动停机的逻辑失效问题。

  • 修复了导入指定UTC时区转换错误的问题。

  • 从JDBC修复了show process list报错的问题。

  • 修复了表属性ttl_seconds在做完checkpoint之后重启清0的问题。

  • 修复了date/month/year add function。

3.0.6

2024年02月05日

【新增】

  • 支持了自动Analyze。

  • 支持了宽表导入。

  • 支持了group commit(攒批导入/实时导入)。

  • 支持了in left join infer。

【优化】

  • 合入了Apache Doris 2.0.4版本的所有功能、改进优化和问题修复。

  • 优化了导入失败时的错误提示。

  • 提升了稳定性。

【修复】

  • 修复了集群重启可能会导致cluster权限失效的问题。

  • 修复了从SelectDB Core 2.4.x系列版本升级到3.0.x系列版本失败的问题。

  • 修复了SHOW PROCESSLIST指令输出排版错位的问题。

  • 修复了ALTER TABLE TTL属性可能不生效(查询表结构TTL为0)的问题。

  • 修复了查询偶尔报"failed to initialize storage reader"的问题。

  • 修复了parquet reader异常路径可能会导致内存泄漏的问题。

  • 修复了外表date_sub,data_add,to_date函数下推的问题。

  • 修复了COLOCATE因为参与balance导致colocate join规划失效的问题。

  • 修复了ALTER COLOCATE属性replay失败的问题。

  • 修复了delete条件带特殊字符导致不能查询数据的问题。

  • 修复了读查询小概率报NOT_IMPLEMENTED_ERROR的问题。

  • 修复了导入时区转换导致数据不正确的问题。

  • 修复了substr()传入负值会导致coredump的问题。

3.0.5

2023年12月20日

【新增】

  • 提供了Stream Load兼容API。

/api/{db}/{table}/_stream_load_2pc

  • 开放了SHOW proc/statistic的白名单。

【优化】

  • 合入了Apache Doris 2.0.3版本的所有功能(不建议开启自动Analyze功能),改进优化和问题修复。

  • 提升了MOW表导入的稳定性。

  • 提升了dynamic table建表速度。

  • 提升了生成plan的性能。

  • 优化了decimal运算行为。

  • 提升了稳定性。

【修复】

  • 修复了OSS buffer不够可能会导致写入卡住的问题。

  • 修复了多集群场景下查询可能会报"failed to find version path"的问题。

  • 修复了多集群场景下plan可能会跨集群的问题。

  • 修复了因为改变VARCHAR长度导致dynamic partition不能新建Partition的问题。

  • 修复了SHOW CREATE TABLE DECIMAL不兼容SmartBI的问题。

  • 修复了列类型转换功能可能会不可用的问题。

  • 修复了行存表属性不生效的问题。

  • 修复了base compaction可能会失败的问题。

  • 修复了点查可能查不到最新数据的问题。

  • 修复了copy into重复文件需要等待超时的问题。

  • 修复了query_parallel_instance_num可能会除以0的问题。

  • 修复了Cache命中率计算可能会不准确的问题。

  • 修复了NGram索引不生效的问题。

3.0.4

2023年11月23日

【新增】

  • 支持了SHOW PROC current_stmt。

【优化】

  • 增强了访问控制安全性。

  • 增强了上传数据校验可靠性。

  • 提升了warehouse元数据服务可用性。

  • 优化了建表dynamic_partition.replication_num的错误提示。

【修复】

  • 修复了SelectDB Core 2.4升级到3.0可能会导致copy into 失败的问题。

  • 修复了使用external stage导入授权可能会失败的问题。

  • 修复了Routine Load导入可能会失败的问题。

  • 修复了MOW表导入可能会失败的问题。

  • 修复了实时写INSERT语句可能会失败的问题。

  • 修复了tpcds性能下降的问题。

  • 修复了非global的session variable可能不生效的问题。

  • 修复了query中WHERE大量条件使CPU消耗高而执行慢的问题。

3.0.3

2023年11月02日

【新增】

  • 支持了Doris Clean Label。

  • Stream Load云上API兼容了Doris 社区行为。

  • 实例内置了JDBC Driver。

【优化】

  • 新优化器top n默认支持了 Runtime Filter裁剪。

【修复】

  • 修复了实例因为资源泄漏导致查询响应慢的问题。

  • 修复了function语句禁用不生效的问题。

  • 修复了重排列schema change会失败的问题。

3.0.2

2023年10月17日

【新增】

  • 增加了OSS Load的JDBC Driver URL白名单功能。

【优化】

  • 合入了Apache Doris 2.0.2版本的所有功能、改进优化和问题修复。

  • 合入了SelectDB Core 2.3.10、2.4.4版本的所有功能、改进优化和问题修复。

  • 减少了Plan时获取元数据的时间,加快了Plan的生成速度。

  • 增加了Query Profile访问元数据的耗时统计。

  • 均衡优化了资源利用率。

【修复】

  • 修复了设置File Cache TTL之后读写出错的问题。

  • 修复了查询backends表或rowsets表导致服务不可用的问题。

3.0.1

2023年09月18日

【优化】

  • 合入了Apache Doris 2.0.1版本的所有功能、改进优化和问题修复。

  • 合入了SelectDB Core 2.4.3版本的所有功能、改进优化和问题修复。

  • 优化了Get Version的耗时。

2.4

说明

云数据库 SelectDB 版的内核版本2.4基于Apache Doris 1.2开发。Apache Doris 1.2的版本说明,请参见Release 1.2.0

版本号

发布时间

说明

2.4.6

2023年11月14日

【修复】

  • 修复了若干计算节点内存泄漏的问题。

2.4.5

2023年11月06日

【优化】

  • 优化了balance的策略。

【修复】

  • 修复了replace tmp partition导致的查询失败问题。

  • 修复了pthread和bthread混用导致的死锁问题。

2.4.4

2023年09月20日

【优化】

  • 合入了SelectDB Core 2.3.9、2.3.10版本的所有功能、改进优化和问题修复。

  • 提升了导入功能的可用性。

【修复】

  • 修复了MySQL Session(请求Truncate Table,该Table包含大量Partition)无响应的问题。

2.4.3

2023年09月11日

【新增】

  • 支持了欠费停服。

【优化】

  • 合入了SelectDB Core 2.3.8版本的所有功能、改进优化和问题修复。

【修复】

  • 修复Docker环境时区的问题。

2.4.2

2023年08月28日

【新增】

  • 支持了COPY INTO导入方法设置常量值。

【优化】

  • 提升了存储信息统计的准确性。

【修复】

  • 修复了Cloud Stream Load有可能失败的问题。

2.4.1

2023年08月03日

【新增】

  • 支持了Stream Load导入数据。

  • 支持了已停机的按量付费集群接到查询请求时自动启动。

【优化】

  • 合入了SelectDB Core 2.3.5、2.3.6、2.3.7版本的所有功能、改进优化和问题修复。

【修复】

  • 修复了倒排索引查询可能会失败的问题。

2.4.0

2023年07月03日

【新增】

  • 支持了通过Session variable控制SQL是否使用缓存。

  • 支持了集群之间导入数据增量数据同步。

  • 支持了基于Table cluster的缓存数据预热功能。

  • 支持了通过SQL查询缓存的使用情况。

  • 支持了按量付费集群闲置时自动停机。

【优化】

  • 增强了数据安全。

  • 提升了查询未命中缓存时的响应速度。

【修复】

  • 修复了SET DEFAULT CLUSTER可能会失败的问题。

  • 修复了升级过程可能会失败的问题。

SelectDB其他历史内核版本的详细信息,请参见SelectDB Cloud的内核发布记录