2023年AnalyticDBPostgreSQL版存储弹性模式的内核功能发布记录_云原生数据仓库AnalyticDB(AnalyticDB)-阿里云帮助中心

备案控制台

文档

输入文档关键字查找

本文介绍2023年云原生数据仓库AnalyticDB PostgreSQL版存储弹性模式的内核功能发布记录。

您可以在云原生数据仓库AnalyticDB PostgreSQL版控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见版本升级。

2023年12月

V6.3.10.26

类别	功能	功能描述	相关文档
优化	优化器	优化多表JOIN场景，放大join_collapse_limit（连接操作能合并的最大表数限制）后，时间与内存大幅度增长。	无
	优化器	优化分区非常多的分区表与ODPS外表 JOIN时，Explain耗时长的问题。	无
缺陷修复	修复某些场景下ALTER TABLE Add Partition与Vacuum Full pg_index死锁导致实例不可用的缺陷。
	修复tdfunc插件中，`NVL`函数处理NULL值异常导致coredump的缺陷。
	修复执行引擎处理分区表扫描的Dynamic Index Scan算子，在执行层内存泄漏的缺陷。
	修复ORCA优化器复制表Semi JOIN，在部分场景下结果错误的缺陷。
	修复向量数据库扩容过程中，构建ANN索引的表产生死锁的缺陷。
	修复增量排序Incremental Sort产生coredump的缺陷。
	修复向量检索功能，在新增列场景下查询语句挂起的缺陷。
	修复Nestloop Index JOIN计划中，触发Motion Rescan报错`illegal rescan of motion node: invalid plan`的缺陷。
	修复ORAC优化器Semi JOIN + Distinct时，在部分场景下结果错误的缺陷。

2023年11月

V6.3.10.24

类别	功能描述
缺陷修复	修复CREATE CURSOR WITH HOLD导致Resource queue holders泄漏的问题。
	修复Planner计划，Merge Join with partition selector导致结果错误或者coredump问题。
	修复分区表Bitmap Index Scan偶现内存耗尽，从而导致的OOM问题。
	修复WorkfileMgr提前释放导致的文件注册异常问题。
	修复向量数据库扩容过程中，构建ANN索引的表产生死锁的问题。
	修复Checkpointer进程内存使用异常高的问题。
	修复Planner convert_EXPR_to_join错误问题。
	修复GDD内存使用率异常高，存在内存泄漏问题。
	修复执行Refresh MATERIALIZED VIEW刷新非物化视图的过程中，导致查询卡住或出现延迟的问题。
	修复Syncdatadir时间较长导致异常切换主服务器的问题。
	修复自动排序对变长排序键只有一行时获取Max值有误的问题。
	修复向量数据库码本前置训练过程中，捕获信号量异常的问题。
	修复ORCA优化器在部分Semi Join + Distinct场景中，结果可能出现错误的问题。
	修复分区主表删除Constraint后，子表未删除，导致表结构不一致的问题。

V6.6.0.0

类别	功能	功能描述	相关文档
新增	向量检索	兼容pgvector协议。SDK为pgvector插件的业务可以无缝迁移到AnalyticDB PostgreSQL版向量数据库。支持单个向量列创建多个索引，并且可以根据距离度量自动选择。支持在索引构建之前训练PQ码本。当在有数据的向量表中构建向量索引时，会先训练码本，再构建索引。新增向量相关的UDF，如vector_sum、vector_max、vector_min、vector_avg、vector_norm、vector_angle和vector_dot等。	向量检索
	pldbgapi插件	支持创建pldbgapi插件并使用PL/pgSQL的Function调试功能。	pldbgapi
	动态数据脱敏	支持对敏感列设置列级别的数据脱敏，应用不同的脱敏函数，将原始数据以脱敏后的形式展示，从而实现对敏感隐私数据的保护，提高数据的安全性。	动态数据脱敏
	实时物化视图	新增实时数仓样本数据集，用于测试基于实时物化视图的实时数仓。	AnalyticDB PostgreSQL构建一站式实时数仓实践
优化	优化器	优化内存使用率，显著减少部分场景下Master和Segment的内存使用率。	无
	实时物化视图	优化复杂查询和Outer Join场景下的性能。	实时物化视图
	向量检索	支持AVX512F指令集进行向量距离计算。	无
		支持直接从向量索引获取排序距离值，避免重复计算。
		支持在索引中存储原始向量，避免索引构建和查询过程中多次回表。
		支持在索引中存储归一化的向量，优化余弦相似度距离的计算性能。
	资源组（Resource Group）	增加代理模式使用Cgroup的底层支持。	无
缺陷修复	修复Planner优化器子查询时触发Coredump的问题。修复实例分时扩容表RENAME后会出现数据未重新分布的问题。修复创建带有GROUP BY和UNIONALL的实时物化视图场景下，执行INSERT时出现Coredump的问题。修复DROP TABLE报错`cache lookup failed for extension 18713194`的问题。修复向量Fastann插件无法在系统pg_catalog Schema空间中安装的问题。修复实例开启并行特性会偶现报错`reader could not find writer proc entry`的问题。修复Planner优化器无法裁剪分区表Default分区的问题。修复分区主表删除Constraint后，子表未删除，导致表结构不一致的问题。修复Checkpointer进程内存使用异常高的问题。修复Planner优化器的convert_EXPR_to_join报错问题。修复Lateral Join时，生成的计划不正确，在Jsonb中产生Coredump的问题。修复临时表在Master上存在残留的问题。修复列存表Merge对变长排序键只有一行时获取MAX值报错的问题。修复CREATE CURSOR WITH HOLD导致Resource Queue Holders泄漏的问题。修复列存表Metascan特性报错`can not found block: (-1, -1, -1, -1)`的问题。修复系统表MIN或MAX生成计划报错`MIN/MAX subplan has unexpected flowtype: 351`的问题。

2023年09月

V6.3.11.3

类别	功能	功能描述	相关文档
新增	实时物化视图	增加实时物化视图的监控。	实时物化视图
	跨库查询	AnalyticDB PostgreSQL版支持通过外部数据包装器FDW（foreign-data wrapper）帮助您轻松快速地在不同的实例进行联合查询，在保证数据实时性的同时，有效减少数据冗余。	跨库查询
	跨实例查询	提供AnalyticDB PostgreSQL版实例之间实时交互查询的能力，可用于联邦分析。	跨实例查询
优化	优化器	默认开启查询中In list优化。	无
优化	Oracle兼容性	支持转换Unknown数据类型。	无
缺陷修复	修复使用ORCA优化器的查询中包含未显式指定的列从而导致查询失败的问题。修复实时物化视图中，OUTER JOIN在WHERE条件中出现单操作符场景下Coredump的问题。修复实时物化视图中，OUTER JOIN WITH Agg时二阶段监控统计信息缺失，Self join calc/apply信息只统计一次的问题。修复Planner优化器查询带有EXISTS时，生成INNER JOIN导致结果错误的问题。修复CREATE CURSOR WITH HOLD导致Resource queue holders泄漏的问题。修复包含主键的Agg生成计划报错`could not retrieve tle for sort-from-groupcols`的问题。

2023年08月

V6.3.11.2

类别	功能	功能描述	相关文档
新增	向量检索	增加余弦相似度相关函数。支持并行构建针对文本数据和向量数据的向量索引。融合查询功能增强，支持半结构化数据索引加速，支持通过向量检索和全文检索进行双路召回。	向量数据库概述
	优化器	ORCA优化器支持Dynamic Join Filter。优化器支持in-list转换Semi Join功能。	Dynamic Join Filter
	实时物化视图	支持AOCS表作为实时物化视图的基表。	实时物化视图
	冷热分层存储	支持将访问频率较低的数据存储到OSS中，以降低存储成本。	数据存储冷热分层
优化	向量检索	提高内积（IP）距离和余弦（COSINE）距离的计算速度。优化向量检索引擎相关内核参数。	无
	优化器	Planner优化器优化了NestLoop Join Cost和优化Index相关SQL计划，以获得更好的执行性能。优化分区表内存使用和管理，避免大分区场景下内存使用率高的问题。 ORCA优化器支持多动态分区裁剪。 ORCA优化器提升了对分区表生成计划的性能。 ORCA优化器提升了对时间类型基数的估算准确性。	无
	实时物化视图	优化复杂查询和Outer Join场景的性能。	无

V6.3.10.20

类别	功能	功能描述	相关文档
新增	向量检索	向量数据库支持内积（IP）距离和余弦（COSINE）距离。	向量数据库概述
缺陷修复	修复pg_cron非superuser账号不能创建指定用户定时任务的问题。修复Oracle字符串连接兼容性的问题。修复优化器包含主键的Agg生成计划报错`could not retrieve tle for sort-from-groupcols`的问题。修复优化器planner计划，`Merge Join with partition selector`导致结果错误或者Coredump的问题。修复优化器Lateral Join包含Limit导致Coredump或者Panic的问题。

2023年07月

V6.3.10.16

类别	功能	功能描述	相关文档
新增	实时物化视图	实时物化视图支持参与带有Rollup或Cube聚合的GROUP BY子句的查询改写。	实时物化视图
新增	实时物化视图	支持创建实时物化视图时对查询结果目标列中缺失的GROUP BY列进行自动补全。	实时物化视图
优化	实时物化视图	优化创建嵌套物化视图时由于名称或子查询别名过长导致的物化视图名称长度超限问题。	无
	优化器	优化Orca对含有较多子分区的表Planning时间过长的问题。	无
	orafce插件	orafce插件3.25版本向下兼容。	扩展插件列表
	Query Cache	Query Cache添加了更多丰富的场景，对查询结果进行缓存。	扩展插件列表
缺陷修复	修复在Orca中运行CTAS计划导致缩容失败的问题。修复垂直升降配失败的问题。修复在扩容过程中，后台进行自动合并时排序文件导致的coredump的问题。修复开启向量检索时，实例缩容失败的问题。修复内核DROP TABLE出现`cache lookup failed for extension ...`报错的问题。修复Orca不支持多个Distinct对象使用agg函数的问题。修复开启并行后业务SQL出现`reader could not find writer proc entry`报错的问题。修复列存表Metascan出现`can not found block: (-1, -1, -1, -1)`报错的问题。修复分区子表与主表行存和列存等Options不一致的问题。修复向量数据mmap引擎和shared_buffer引擎对接PQ不一致的问题。修复向量数据库mmap索引文件回收不完备，出现漏删的问题。修复向量数据库mmap引擎的向量算法库在召回Top很低时，通过调参也无法实现100%召回的问题。修复在AO物化视图执行`UPDATE ... RETURNING ...`语句时，RETURNING子句中带有Ctid情况下出现coredump的问题。修复多Master下自动创建嵌套实时物化视图时，在其他Master上的依赖缺失问题。

2023年05月

V6.3.10.14

类别	功能	功能描述	相关文档
新增	实时物化视图	实时物化视图支持FROM子查询。	实时物化视图
优化	Ganos插件	Ganos插件升级至5.5版本。	简介
缺陷修复	修复内核漏洞CVE-2023-2454，请你及时将存储弹性模式6.0版实例的内核小版本升级至V6.3.10.14及以上版本。修复PL/Java插件使用的UDF会导致pg进程残留的问题。修复数据恢复过程中，系统在检测添加Secondary Master时报错的问题。修复Autovacuum在Fastworker模式下未按照预期及时调度的问题。修复Automerge一直占用锁导致其他的查询等待的问题。修复扩缩容进度显示不准确的问题。修复全量修复流程中断导致的查询资源倾斜问题。修复分布式事务残留在计算节点时，恢复分布式事务会出现`transaction is already committed`报错的问题。修复实例扩容后，开启并行查询访问AOCS列存表会出现coredump内核错误的问题。修复pg_rewind复制Xlog受statement_timeout参数影响的问题。修复ORCA优化器对含有较多子分区的表planning时间过长的问题。

2023年03月

V6.3.10.12

类别	功能	功能描述	相关文档
新增	实时物化视图	实时物化视图支持PARTITION BY（多列）场景。	实时物化视图
优化	Orafce插件	Orafce插件升级至3.25.0版本。	使用Orafce插件
缺陷修复	修复INSERT ON CONFLICT UPDATE或COPY ON CONFLICT UPDATE时可能出现内存泄漏的问题。修复列存辅助表找不到对应的分布式提交日志clog文件的问题。修复扩缩容时，数据库内有分区外表导致扩缩容失败的问题。修复扩缩容时，数据库内有无数据的物化视图导致扩缩容失败的问题。修复扩缩容进度显示不准确的问题。修复查询复制表时，在部分场景下可能出现查询异常的问题。修复ANALYZE数据量很小的外表时可能会出现coredump的问题。修复执行SQL生成PLAN（计划）时，可能出现`ERROR: could not find hash function for hash operator 58393736`报错的问题。修复开启ORCA优化器后，查询expansion_progress视图会出现错误的问题。修复实时物化视图在不包含聚合操作场景下执行并发删除任务可能导致死锁以及数据不一致问题。

2023年01月

V6.3.10.9

类别	功能	功能描述	相关文档
新增	分区表	AnalyticDB PostgreSQL版分区表新增如下功能：子分区支持重命名。分区时可以指定分区子表的名称。分区表支持DETACH和ATTACH命令。	表分区定义
	实例扩缩容	AnalyticDB PostgreSQL版存储弹性模式6.0版实例支持减少计算节点数量。	计算节点变配
	样本数据集	AnalyticDB PostgreSQL版提供了样本数据集，方便您快速体验或测试AnalyticDB PostgreSQL版实例。	管理样本数据集
	实时物化视图	实时物化视图新增如下功能：支持UNION ALL语法。支持FROM子查询语法。	实时物化视图
优化	实时物化视图	优化了实时物化视图的OUTER JOIN场景性能。	实时物化视图
	列存分区表优化	提升了列存分区表使用ALTER TABLE ADD COLUMN命令新加列时的执行速度。	无
	GANOS时空引擎扩展	GANOS时空引擎升级版本到5.1版本。	GANOS时空引擎扩展
	诊断与优化	诊断与优化功能在诊断数据膨胀、数据倾斜和索引时，会根据情况采用统计信息来减少诊断耗时。	数据膨胀、倾斜与索引统计
	SQL优化器	AnalyticDB PostgreSQL版将join_collapse_limit参数默认值调整至10，从而优化多表JOIN时内存占用过高且执行时间过长的问题。	无
缺陷修复	修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现`tuple already updated by self`错误信息的问题。修复Master节点不回收Writer Gang，导致高并发场景下计算节点内存过高，容易出现内存溢出（OOM）的问题。修复列存表索引扫描（INDEX SCAN）结果可能出现错误的问题。修复AOCS表添加列辅助表时未使用正确的快照导致报错的问题。修复AO表和AOCS表的索引膨胀以及不可重复读的问题。修复Nested-Loop JOIN无法正确选择物化节点的问题。

上一篇：2024年下一篇：2022年

文档内容是否对您有帮助？