2023年

更新时间:2025-01-17 07:53:16
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

本文介绍AnalyticDB for MySQL的产品功能动态。

注意事项

版本升级期间,有以下注意事项需要您知晓。

  • 预留模式集群版、弹性模式32核及以上规格:数据读写不中断,距离升级完成5分钟内查询偶尔闪断。

  • 弹性模式8核及16核规格:数据写入会中断大约30分钟,距离升级完成5分钟内查询偶尔闪断。

  • 集群升级时间段内,数据库的访问、账号管理、数据库管理以及IP白名单设置默认不会受到影响。

  • 集群升级时间段内,写入和查询类操作可能会产生小概率抖动,请确保应用程序具有重试机制。

  • 集群升级时间段内,集群可能会发生连接闪断,请确保应用程序具有重连机制。

如果您的集群不需要升级,或者升级过程有问题,可以取消版本升级计划。当前仅小版本升级计划事件可以取消。具体操作,请参见取消计划配置

警告

当您的AnalyticDB for MySQL实例所使用的内核小版本低于最新内核小版本时,阿里云会不定期推送升级通知给您,告知您实例需要升级至最新的稳定内核小版本。建议您在收到通知后尽快升级实例的内核小版本。如果收到通知后六个月内未升级到最新稳定版本,因此造成的业务中断、数据丢失等损失和后果均由您承担。详情请参见云数据库服务协议

202311

数仓版

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

一键诊断

支持对指定时间段的集群运行状况发起诊断,结合监控数据、日志数据以及库表状态等信息进行联合分析,从集群的资源水位、负载变化、查询SQL、算子、存储等多方面评估集群的健康状况,帮助您提高集群问题排查、分析效率。

一键诊断

切换专有网络和交换

支持切换专有网络和交换机。

切换专有网络VPC和交换机

湖仓版

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

自定义Spark镜像

Spark默认镜像无法满足您的需求时,您可以基于默认镜像,将Spark作业需要的软件包和依赖项打包到镜像中,生成自定义镜像,并在Spark作业开发时,指定自定义镜像作为Spark作业的执行环境。

自定义Spark镜像

Jupyter交互式作业开发

使用Docker镜像快速启动Jupyter交互式开发环境,帮助您使用本地Jupyter Lab连接Spark,从而利用集群的弹性资源进行交互测试和计算。

Jupyter交互式作业开发

202310

V3.1.9

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

CTE执行优化

CTE子查询被多次引用时,只需要执行一次,提升查询性能。该功能默认关闭。可通过设置CTE_EXECUTION_MODE配置项启用该功能。

WITH

XIHE SQL支持访问Hudi数据

湖仓版支持通过XIHE SQL访问Hudi数据。

OSS外表

新增MV_PROPERTIES属性

支持指定弹性资源组创建和刷新物化视图,提升查询效率。

弹性物化视图

列组统计信息

列组统计信息收集同一张表多个列的统计信息,描述多个列之间的关联程度。

统计信息

手动收集分区统计信息

湖仓版集群支持使用ANALYZE TABLE命令全量收集OSS外表分区的基础统计信息。

收集分区统计信息

可变长二进制函数

新增ZIPUNZIPGZIPGUNZIP函数。

可变长二进制函数

物化视图增量刷新

支持在创建物化视图时指定增量刷新模式。

物化视图增量刷新

支持强制覆盖工作负载管理规则的已有属性

通过WLM创建工作负载管理规则后,支持强制覆盖已有属性。

WLM

新增AI_GENERATE_TEXT函数

数仓版支持使用AI_GENERATE_TEXT函数分析非结构化数据,并输出结构化数据。

Multi-Statement

支持连续执行多个SQL语句,SQL语句之间使用半角分号(;)分隔。该功能默认关闭,您需执行SET ADB_CONFIG ALLOW_MULTI_QUERIES=true;命令手动开启。

说明

SET ADB_CONFIG命令用于修改全局配置,仅需执行一次。修改后的配置项会作用于整个集群。

Hive外表统计信息

支持收集ORC格式外表的实时行数,优化ORC外表的复杂查询。

优化

JOIN调优

优化Hash Join表关联时过滤器的应用场景和传递效率,支持小表为子查询。

Parquet向量化读取优化

提升Parquet数据格式的查询效率。

Aggregation算子优化

优化String分组列和多个分组列场景下Aggregation算子的执行效率。

字典编码优化

使用字典编码提升GROUP BY操作的性能。

分词器优化

优化IK分词器分词指定自定义词典的配置方式。

Executor节点优化

优化Job型资源组中Executor节点的启动速度。

INSERT OVERWRITE优化

支持一个外表同时存在多个INSERT OVERWRITE写入任务。

异步任务优化

增加异步查询结果集的最大长度。

缺陷修复

DECIMAL精度

修复行存引擎不支持DECIMAL精度变更问题。

Hive外表统计信息

修复Hive外表采样收集信息的耗时问题。

WITH

修复WITH语法表别名反引号不识别问题。

外表文件名

修复外表文件名中有冒号时报错的问题。

20239

湖仓版

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

Spark应用性能诊断

Spark应用性能诊断功能可以帮助您快速定位和分析性能瓶颈问题,提高问题解决效率。

Spark应用性能诊断

Spark应用访问公网配置说明

支持Spark应用通过公网访问自建数据库或其他云厂商数据服务。

Spark应用访问公网配置说明

通过Spark SQL访问MySQL数据

支持通过Spark SQL访问自建MySQL数据库或阿里云MySQL系列的数据库。

MySQL数据

通过Spark SQLLindorm数据

支持通过Spark SQL访问Lindorm中的Hive表和宽表的数据。

Lindorm数据

20236

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

资源总览和作业使用统计

湖仓版支持查看以下资源使用情况:

  • 集群级别的计算资源和存储资源,包括预留资源和弹性资源。

  • 资源组级别的总计算资源、计算预留资源、计算最大资源。

  • 作业级别的总计算资源、计算预留资源和计算弹性资源。

查看资源组监控

优化

变更数据备份周期的默认值。

数仓版默认的数据备份周期由原来的每周至少两次变更为每周至少一次。

管理备份

优化

存储资源包支持抵扣按量付费集群和湖仓版集群的存储资源。

存储资源包支持抵扣以下集群的存储资源:

  • 包年包月和按量付费的湖仓版集群。

  • 包年包月和按量付费的数仓版集群。

存储资源包

20235

V3.1.7~V3.1.8

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

提升监控告警能力

新增实例健康状态和集群健康状态监控项。

查看AnalyticDB for MySQL监控

Interactive型资源组优先级队列与并发控制

Interactive型资源组提供了查询优先级队列的能力,您可以设置查询的优先级,使不同查询进入不同的优先级队列(包含LOWEST队列、LOW队列、NORMAL队列和HIGH队列)。并通过修改队列并发数来对查询进行限流或放大并发。

Interactive型资源组的优先级队列与并发

Job型资源组的优先级队列

Job型资源组供了作业优先级队列的能力,您可以设置作业的优先级,使不同作业进入不同的优先级队列(包括LOWEST队列、LOW队列、NORMAL队列和HIGH队列)。优先级高的作业会先运行。

Job型资源组的优先级队列

DECIMAL精度变更

支持修改DECIMAL类型精度,由低精度改为高精度。

ALTER TABLE

数据类型变更

支持将整型数据类型(TINYINT、SMALLINT、INT、BIGINT、SHORT、LONG)变更为浮点类型(FLOAT、DOUBLE)和DECIMAL类型。

ALTER TABLE PARTITION

支持修改分区函数。

优化

  • 优化器优化:

    • 支持Eager AGG和自动两阶段AGG规则。

    • 支持Cascades优化器,默认开启。

    • 支持自动Swap Outer Join规则。

  • Task Failover优化:Executor重启或升级等不影响任务执行。

  • INSERT OVERWRITE优化:提升了INSERT OVERWRITE的写入性能。

  • EIU重启优化:提升了存储节点的重启速度。

  • JSON优化:

    • 修复json_extractis not null/is null异常问题。

    • 修复json_array不能下推引发的存储引擎C-Store性能回退问题。

  • 扫描性能优化:优化了数据Scan算子的性能。

20234

湖仓版

类别

名称

相关文档

类别

名称

相关文档

新增

支持购买美国(弗吉尼亚)地域集群。

湖仓版产品定价

新增

支持购买ACU时包,用于抵扣按量付费集群的计算预留资源、存储预留资源、弹性资源和包年包月集群的弹性资源。

ACU时包

20232

V3.1.6.4

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

ROARING BITMAP函数

ROARING BITMAP是一种高效的BITMAP压缩算法,被广泛应用在各种语言和各种大数据平台,常用于去重、标签筛选、时间序列等计算中。

圈人函数(Roaring Bitmap)

漏斗分析函数

漏斗分析是常见的转化分析方法,用于反映用户各个阶段行为的转化率。新增函数:WINDOW_FUNNEL、RETENTION、RANGE_RETENTION_COUNTRANGE_RETENTION_SUM。

漏斗留存函数

UPDATE JOIN

支持UPDATE JOIN多表更新。

多表更新

支持新的RDS MySQL、MongoDB、MaxCompute、OSSOTS外表

  • 支持通过外表将RDS MySQLMongoDB的数据导入湖仓版。

  • 支持通过外表将MaxCompute的数据导入湖仓版。

  • 湖仓版OSS分区外表支持CSV、JSON、Parquet、ORC、AVRO等各种格式及分区映射的能力,满足数据保存在OSS中且分区特别多(超过10万)的场景。

  • 新增了OTS Connector,方便导入分析OTS的数据。

MySQL外表支持指定字符集

创建RDS MySQL外表和自建MySQL外表时,支持通过charset属性指定MySQL字符集。

CREATE EXTERNAL TABLE

CBO代价估算体系更新

数仓版提供自动收集统计信息的功能。统计信息作为查询优化器的输入,可以帮助查询优化器生成高质量的执行计划。

统计信息

智能负载管理WLM

通过内置的多级队列实现不同优先级查询的隔离与限流。支持自定义规则进行Bad SQL拦截或队列投递。

优化

  • 导入性能优化:引入新型导入模型,提升导入性能,新建表默认生效。

  • Window算子优化:优化HashSort阶段性能,支持自适应部分聚合。

  • Netty稳定性优化:使用Netty替换Jetty,减少网络连接数和CPU消耗。

    控制链路默认开启Netty,数据链路可配置开启Netty。

  • OSS分区外表优化:DDL支持指定分区字段的类型及取值范围,优化OSS外表的Partition Pruning性能。

  • 导入内存模型与读外表优化:增强OSSODPS外表导入性能。

  • CacheFS内存优化:减少冷热数据Cache内存使用,增强集群稳定性。

V3.1.5.8

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

全文检索

全文索引新增支持多种内置分词器,包括Standard分词器、Ngram分词器、Edge_ngram分词器和Pattern分词器。

全文索引的分词器

V3.1.5.10

类别

名称

说明

相关文档

类别

名称

说明

相关文档

新增

正则表达式函数

新增正则表达式函数REGEXP_MATCHES()REGEXP_SUBSTR()REGEXP_INSTR()REGEXP_REPLACE()

正则函数

20231

数仓版

类别

名称

相关文档

类别

名称

相关文档

新增

支持SQL诊断功能。您可以查询StageTask详情,帮助您提高慢查询的分析效率。

使用StageTask详情分析查询

新增弹性IO资源变配规格1296 GB16128 GB

变更集群配置(数仓版)

支持变更云盘等级。

  • 本页导读 (1)
  • 注意事项
  • 2023年11月
  • 数仓版
  • 湖仓版
  • 2023年10月
  • 2023年9月
  • 湖仓版
  • 2023年6月
  • 2023年5月
  • 2023年4月
  • 湖仓版
  • 2023年2月
  • 2023年1月
  • 数仓版
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等