新功能发布记录

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

本文介绍云原生数据仓库 AnalyticDB MySQL 版的产品功能动态。

注意事项

版本升级期间,有以下注意事项需要您知晓。

  • 预留模式集群版、弹性模式32核及以上规格:数据读写不中断,距离升级完成5分钟内查询偶尔闪断。

  • 弹性模式8核及16核规格:数据写入会中断大约30分钟,距离升级完成5分钟内查询偶尔闪断。

  • 集群升级时间段内,数据库的访问、账号管理、数据库管理以及IP白名单设置默认不会受到影响。

  • 集群升级时间段内,写入和查询类操作可能会产生小概率抖动,请确保应用程序具有重试机制。

  • 集群升级时间段内,集群可能会发生连接闪断,请确保应用程序具有重连机制。

如果您的集群不需要升级,或者升级过程有问题,可以取消版本升级计划。当前仅小版本升级计划事件可以取消。具体操作,请参见取消计划配置

警告

当您的AnalyticDB for MySQL实例所使用的内核小版本低于最新内核小版本时,阿里云会不定期推送升级通知给您,告知您实例需要升级至最新的稳定内核小版本。建议您在收到通知后尽快升级实例的内核小版本。如果收到通知后六个月内未升级到最新稳定版本,因此造成的业务中断、数据丢失等损失和后果均由您承担。详情请参见云数据库服务协议

2024年9月

湖仓版

类别

名称

说明

相关文档

新增

跨地域克隆集群

支持将源集群跨地域克隆至其它地域。

克隆集群

V3.2.2

类别

名称

说明

相关文档

新增

批量创建MaxCompute外表

支持批量创建MaxCompute外表。

IMPORT FOREIGN SCHEMA

增量刷新物化视图新增聚合函数

增量刷新的物化视图,QUERY BODY可以包含MAXMINAPPROX_DISTINCTCOUNT(DISTINCT)AVG聚合函数。

增量刷新物化视图

调用Arrow API访问MaxCompute外表

支持使用Arrow API方式读写MaxCompute外表。与传统的Tunnel方式相比,Arrow API方式可以提高数据访问和处理的效率。

通过外表导入至湖仓版

优化

FROM_UNIXTIME函数

FROM_UNIXTIME函数支持将INT类型的秒级时间戳按照DATE_FORMAT格式化。

日期和时间函数

2024年8月

类别

名称

说明

相关文档

新增

Interactive型资源组支持选择Spark引擎

企业版、基础版及湖仓版在创建Interactive型资源组时支持选择Spark引擎。选择Spark引擎后,Interactive型资源组只支持执行Spark作业,且Spark作业会以交互式方式进行处理。

新建资源组

无感数据集成(Zero-ETL)限制同步链路数量

无感集成功能限制RDS for MySQLPolarDB for MySQLAnalyticDB for MySQL的Zero-ETL同步链路的数量。

2024年7月

类别

名称

说明

相关文档

新增

发布基础版终态

AnalyticDB for MySQL发布基础版终态。基础版终态为单机形态,功能特性与企业版相同。但底层为单副本存储,不提供高可用服务,适用于对数据高可用无需求、追求低成本热数据存储的业务场景。

产品系列

V3.2.1

类别

名称

说明

相关文档

新增

新一代存储引擎

AnalyticDB for MySQL研发了新一代存储引擎XUANWU_V2,该引擎支持将冷数据缓存到ESSD云盘,加快数据读取的速度,同时新一代列式存储让I/O并发度更高内存占用更少。也支持开启Compaction Service,使用Compaction Service独立资源池远程Build数据,从而降低对线上业务的资源占用,提升稳定性。

XUANWU_V2引擎介绍

增量刷新多表物化视图

支持将多张关联表的增量数据定向更新至对应的物化视图中,提升数据查询性能与数据分析效率。

增量刷新物化视图

自定义函数UDF(REMOTE_CALL函数)

支持使用REMOTE_CALL函数远程调用函数计算 FC(Function Compute)中自定义的函数,满足您在AnalyticDB for MySQL中使用UDF(用户自定义函数)的需求。

自定义函数(UDF)

强制删除数据库

支持在DROP DATABASE语句后增加CASCADE关键字,强制删除该数据库(包含数据库下的所有表)。

DROP DATABASE

宽表引擎

湖仓版集群提供宽表引擎,兼容了开源列式数据库ClickHouse的能力和语法,能够处理大量的列式数据,适用于字段较多的表聚合查询分析场景。

宽表引擎

路径分析函数

支持通过SEQUENCE_MATCH和SEQUENCE_COUNT函数分析用户行为路径,检查用户的行为是否和输入Pattern匹配。

路径分析函数

设置SSL加密

SSL加密功能可以对数仓版集群和客户端之间传输的数据进行加密,防止数据被第三方监听、截取和篡改。

SSL加密

MaxCompute外表字段支持复杂数据类型

企业版、基础版或湖仓版MaxCompute外表支持复杂数据类型,包括Array、Map和Struct。

CREATE EXTERNAL TABLE

Flink订阅AnalyticDB for MySQL Binlog

支持通过Flink实时消费AnalyticDB for MySQL的Binlog数据。

Flink订阅Binlog

内表支持ROARING BITMAP数据类型

支持ROARING BITMAP数据类型。

圈人函数(Roaring Bitmap)

优化

LIFECYCLE关键字从必选改为可选

若在建表时未设置LIFECYCLE关键字,则表示分区数据永久保留,不会被清理。

CREATE TABLE

表级分区生命周期管理(LIFECYCLE)

3.2.1.1及以上内核版本,将分区的生命周期由分片级管理改为了表级管理,即新建表LIFECYCLE n表示每个表保留n个分区,不再是原来的每个分片保留n个分区。

CREATE TABLE

通过外表导入OSS数据至AnalyticDB for MySQL

通过外表导入OSS数据至AnalyticDB for MySQL时,Location参数中文件名支持填写文件名前缀或文件名通配符。

通过外表导入至数仓版

创建表时自动检查字段名是否符合要求

使用CREATE TABLE语句创建表时,AnalyticDB for MySQL会自动检查字段名是否符合要求,若不符合要求,则直接报错。字段名的详细规则,请参见使用限制

2024年6月

类别

名称

相关文档

新增

AnalyticDB for MySQL发布企业版基础版

  • 企业版为集群形态,是湖仓版数仓版的融合升级版本,产品特性与湖仓版相同。它既支持弹性模式下的资源组隔离、资源灵活弹性、冷热数据分层存储等能力,也具备预留模式下的高吞吐实时写入和高并发在线查询能力。

  • 基础版为单机形态,支持冷热数据分层的能力,但不具备分布式能力,不提供高可用服务,不支持资源组隔离和分时弹性功能。基础版暂不支持变配为企业版。

产品系列

2024年4月

类别

名称

说明

相关文档

新增

查询改写功能

支持物化视图查询改写功能。开启该功能后,在执行查询时,优化器会判断查询是否可以利用预先计算并存储的物化视图结果,并将原始查询部分或全部改写为对物化视图的查询。

物化视图的查询改写

通过数据同步功能同步SLS数据

通过数据同步功能,您可以将SLS中指定时间点之后产生的数据实时同步至AnalyticDB for MySQL集群,以满足日志数据实时分析的需求。

无感数据集成(Zero-ETL)

支持无感集成(Zero-ETL)功能,可创建RDS for MySQLPolarDB for MySQL的同步链路,可以帮助您一站式完成数据同步和管理,实现事务处理和数据分析一体化。

通过无感集成(Zero-ETL)同步数据

创建集群选择时区

创建集群时可以根据业务需求设置集群时区,设定后会按照所选时区处理时间相关的数据写入操作。

创建集群

自助升级版本

数仓版集群支持通过控制台查看和升级集群内核版本。

升级版本

存储预留资源规格纵向变配

湖仓版集群支持在扩缩容时,纵向变配存储预留规格。

湖仓版扩缩容

通过DataWorks使用Spark Distribution SQL Engine

在DataWorks中,通过注册CDH集群,可将湖仓版集群提供的Spark Distribution SQL Engine配置为执行引擎,从而支持在DataWorks平台直接开发和执行Spark SQL任务。

通过DataWorks使用Spark Distribution SQL Engine

创建或变配集群时显示进度条

在创建或变配数仓版集群时,您可以通过控制台显示的进度条,直观地查看创建或变配的任务进度。

创建数仓版集群

2024年3月

湖仓版

类别

名称

说明

相关文档

新增

竞价实例

湖仓版集群支持为Job型资源组开启竞价实例功能。开启后,运行在Job型资源组上的Spark作业会尝试使用竞价实例资源。竞价实例资源费用比ACU弹性资源的费用低,可以帮助您节省Spark作业的成本。

竞价实例

2024年2月

类别

名称

说明

相关文档

新增

智能助手

控制台新增智能助手。智能助手会根据您提出的问题,提供相应的答案,帮助您快速解决所遇到的问题。

说明

智能助手仅支持中文问答。

Spark Distribution SQL Engine

湖仓版集群Spark提供Spark开源原生能力Distribution SQL Engine的托管服务,支持通过Spark Distribution SQL Engine开发Spark SQL作业,从而更方便地利用SQL分析、处理和查询数据,提升SQL执行效率。

通过Spark Distribution SQL Engine开发Spark SQL作业

访问OSS-HDFS数据源

湖仓版支持通过Spark访问OSS-HDFS数据源。

访问OSS-HDFS数据源

空间总览

支持在空间总览页面快速查看集群级别和表级别的数据量。

存储空间分析

V3.1.10

类别

名称

说明

相关文档

新增

主外键约束

支持使用主外键约束减少不必要的JOIN操作,可以减少查询时间,提高数据库性能。

通过主外键约束消除多余的JOIN

资源弹性计划支持按月变配

数仓版资源弹性计划支持按月设置变配的周期。

创建资源弹性计划

Multi-Cluster弹性模型

湖仓版资源组支持开启Multi-Cluster功能。开启该功能后,Multi-Cluster弹性模型可根据业务负载自动对资源进行扩缩容,满足资源组内部的资源隔离和高并发场景。

Multi-Cluster弹性模型

可变长二进制函数

新增AES_DECRYPT_MY、AES_ENCRYPT_MY函数。

可变长二进制函数

JSON函数

新增JSON_REMOVE、JSON_CONTAINS和JSON_OVERLAPS函数。

JSON函数

PlanCache

PlanCache功能可以缓存SQL的执行计划,执行相同SQL Pattern语句时会使用缓存的执行计划,从而减少SQL的编译优化时间,提升系统的查询性能。

PlanCache

弹性导入

湖仓版集群支持弹性导入数据。弹性导入可以大幅减少存储资源的消耗,或者不消耗存储资源和计算资源,降低了导入过程中对在线读写业务的影响,提升资源隔离性。

弹性导入

调用Storage API访问MaxCompute外表

支持使用Storage API方式读写MaxCompute外表。与传统的Tunnel方式相比,Storage API方式可以提高数据访问和处理的效率。

支持DMS异步调度ETL任务

支持使用DMS的任务编排功能异步调度ETL任务。

修改工作负载管理规则

支持使用WLM命令修改已创建的工作负载管理规则。

WLM

JSON索引

支持为Array类型的JSON数据构建JSON Array索引。

JSON索引

优化

基础统计信息

优化基础统计信息的收集策略。

列组统计信息

优化列组统计信息的收集策略。

Internal Error报错信息

优化Internal Error报错信息,帮助用户快速分析定位问题。

异步生成Split

对于数据量大的外表,可以在生成执行计划的阶段,异步生成Split,减少生成执行计划耗时。

数据源扫描的并发控制能力

优化扫描OSS外表和MaxCompute外表数据源的并发控制能力(即Split流控)。

扫描并发控制

调用RC HTTP接口时的参数检查策略

优化控制台调用RC HTTP组件时对传参的检查策略,防止SQL注入。

优化存储节点的内存占用

优化存储节点的内存占用,降低GC频率,提升系统稳定性。

缺陷修复

物化视图

修复通过CREATE VIEW语句创建视图时,使用array_agg函数报错的问题。

通过LOAD DATA导入本地数据

修复通过LOAD DATA将本地数据导入数仓版时,CSV格式文件不兼容、数据错乱分割的问题。

冷数据存储

修复冷数据存储的问题,提升查询的命中率及查询性能。

2023年11月

数仓版

类别

名称

说明

相关文档

新增

一键诊断

支持对指定时间段的集群运行状况发起诊断,结合监控数据、日志数据以及库表状态等信息进行联合分析,从集群的资源水位、负载变化、查询SQL、算子、存储等多方面评估集群的健康状况,帮助您提高集群问题排查、分析效率。

一键诊断

切换专有网络和交换

支持切换专有网络和交换机。

切换专有网络VPC和交换机

湖仓版

类别

名称

说明

相关文档

新增

自定义Spark镜像

当Spark默认镜像无法满足您的需求时,您可以基于默认镜像,将Spark作业需要的软件包和依赖项打包到镜像中,生成自定义镜像,并在Spark作业开发时,指定自定义镜像作为Spark作业的执行环境。

自定义Spark镜像

Jupyter交互式作业开发

使用Docker镜像快速启动Jupyter交互式开发环境,帮助您使用本地Jupyter Lab连接Spark,从而利用集群的弹性资源进行交互测试和计算。

Jupyter交互式作业开发

2023年10月

V3.1.9

类别

名称

说明

相关文档

新增

CTE执行优化

CTE子查询被多次引用时,只需要执行一次,提升查询性能。该功能默认关闭。可通过设置CTE_EXECUTION_MODE配置项启用该功能。

WITH

XIHE SQL支持访问Hudi数据

湖仓版支持通过XIHE SQL访问Hudi数据。

OSS外表

新增MV_PROPERTIES属性

支持指定弹性资源组创建和刷新物化视图,提升查询效率。

弹性物化视图

列组统计信息

列组统计信息收集同一张表多个列的统计信息,描述多个列之间的关联程度。

统计信息

手动收集分区统计信息

湖仓版集群支持使用ANALYZE TABLE命令全量收集OSS外表分区的基础统计信息。

收集分区统计信息

可变长二进制函数

新增ZIPUNZIPGZIPGUNZIP函数。

可变长二进制函数

物化视图增量刷新

支持在创建物化视图时指定增量刷新模式。

物化视图增量刷新

支持强制覆盖工作负载管理规则的已有属性

通过WLM创建工作负载管理规则后,支持强制覆盖已有属性。

WLM

新增AI_GENERATE_TEXT函数

数仓版支持使用AI_GENERATE_TEXT函数分析非结构化数据,并输出结构化数据。

Multi-Statement

支持连续执行多个SQL语句,SQL语句之间使用半角分号(;)分隔。该功能默认关闭,您需执行SET ADB_CONFIG ALLOW_MULTI_QUERIES=true;命令手动开启。

Hive外表统计信息

支持收集ORC格式外表的实时行数,优化ORC外表的复杂查询。

优化

JOIN调优

优化Hash Join表关联时过滤器的应用场景和传递效率,支持小表为子查询。

Parquet向量化读取优化

提升Parquet数据格式的查询效率。

Aggregation算子优化

优化String分组列和多个分组列场景下Aggregation算子的执行效率。

字典编码优化

使用字典编码提升GROUP BY操作的性能。

分词器优化

优化IK分词器分词指定自定义词典的配置方式。

Executor节点优化

优化Job型资源组中Executor节点的启动速度。

INSERT OVERWRITE优化

支持一个外表同时存在多个INSERT OVERWRITE写入任务。

异步任务优化

增加异步查询结果集的最大长度。

缺陷修复

DECIMAL精度

修复行存引擎不支持DECIMAL精度变更问题。

Hive外表统计信息

修复Hive外表采样收集信息的耗时问题。

WITH

修复WITH语法表别名反引号不识别问题。

外表文件名

修复外表文件名中有冒号时报错的问题。

2023年9月

湖仓版

类别

名称

说明

相关文档

新增

Spark应用性能诊断

Spark应用性能诊断功能可以帮助您快速定位和分析性能瓶颈问题,提高问题解决效率。

Spark应用性能诊断

Spark应用访问公网配置说明

支持Spark应用通过公网访问自建数据库或其他云厂商数据服务。

Spark应用访问公网配置说明

通过Spark SQL访问MySQL数据

支持通过Spark SQL访问自建MySQL数据库或阿里云MySQL系列的数据库。

读MySQL数据

通过Spark SQL读Lindorm数据

支持通过Spark SQL访问Lindorm中的Hive表和宽表的数据。

读Lindorm数据

2023年6月

类别

名称

说明

相关文档

新增

资源总览和作业使用统计

湖仓版支持查看以下资源使用情况:

  • 集群级别的计算资源和存储资源,包括预留资源和弹性资源。

  • 资源组级别的总计算资源、计算预留资源、计算最大资源。

  • 作业级别的总计算资源、计算预留资源和计算弹性资源。

查看资源组监控

优化

变更数据备份周期的默认值。

数仓版默认的数据备份周期由原来的每周至少两次变更为每周至少一次。

管理备份

优化

存储资源包支持抵扣按量付费集群和湖仓版集群的存储资源。

存储资源包支持抵扣以下集群的存储资源:

  • 包年包月和按量付费的湖仓版集群。

  • 包年包月和按量付费的数仓版集群。

存储资源包

2023年5月

V3.1.7~V3.1.8

类别

名称

说明

相关文档

新增

提升监控告警能力

新增实例健康状态和集群健康状态监控项。

查看AnalyticDB for MySQL监控

Interactive型资源组优先级队列与并发控制

Interactive型资源组提供了查询优先级队列的能力,您可以设置查询的优先级,使不同查询进入不同的优先级队列(包含LOWEST队列、LOW队列、NORMAL队列和HIGH队列)。并通过修改队列并发数来对查询进行限流或放大并发。

Interactive型资源组的优先级队列与并发

Job型资源组的优先级队列

Job型资源组供了作业优先级队列的能力,您可以设置作业的优先级,使不同作业进入不同的优先级队列(包括LOWEST队列、LOW队列、NORMAL队列和HIGH队列)。优先级高的作业会先运行。

Job型资源组的优先级队列

DECIMAL精度变更

支持修改DECIMAL类型精度,由低精度改为高精度。

ALTER TABLE

数据类型变更

支持将整型数据类型(TINYINT、SMALLINT、INT、BIGINT、SHORT、LONG)变更为浮点类型(FLOAT、DOUBLE)和DECIMAL类型。

ALTER TABLE PARTITION

支持修改分区函数。

优化

  • 优化器优化:

    • 支持Eager AGG和自动两阶段AGG规则。

    • 支持Cascades优化器,默认开启。

    • 支持自动Swap Outer Join规则。

  • Task Failover优化:Executor重启或升级等不影响任务执行。

  • INSERT OVERWRITE优化:提升了INSERT OVERWRITE的写入性能。

  • EIU重启优化:提升了存储节点的重启速度。

  • JSON优化:

    • 修复json_extract的is not null/is null异常问题。

    • 修复json_array不能下推引发的存储引擎C-Store性能回退问题。

  • 扫描性能优化:优化了数据Scan算子的性能。

2023年4月

湖仓版

类别

名称

相关文档

新增

支持购买美国(弗吉尼亚)地域集群。

湖仓版产品定价

新增

支持购买ACU时包,用于抵扣按量付费集群的计算预留资源、存储预留资源、弹性资源和包年包月集群的弹性资源。

ACU时包

2023年2月

V3.1.6.4

类别

名称

说明

相关文档

新增

ROARING BITMAP函数

ROARING BITMAP是一种高效的BITMAP压缩算法,被广泛应用在各种语言和各种大数据平台,常用于去重、标签筛选、时间序列等计算中。

圈人函数(Roaring Bitmap)

漏斗分析函数

漏斗分析是常见的转化分析方法,用于反映用户各个阶段行为的转化率。新增函数:WINDOW_FUNNEL、RETENTION、RANGE_RETENTION_COUNT和RANGE_RETENTION_SUM。

漏斗留存函数

UPDATE JOIN

支持UPDATE JOIN多表更新。

多表更新

支持新的RDS MySQL、MongoDB、MaxCompute、OSS和OTS外表

  • 支持通过外表将RDS MySQL和MongoDB的数据导入湖仓版。

  • 支持通过外表将MaxCompute的数据导入湖仓版。

  • 湖仓版OSS分区外表支持CSV、JSON、Parquet、ORC、AVRO等各种格式及分区映射的能力,满足数据保存在OSS中且分区特别多(超过10万)的场景。

  • 新增了OTS Connector,方便导入分析OTS的数据。

MySQL外表支持指定字符集

创建RDS MySQL外表和自建MySQL外表时,支持通过charset属性指定MySQL字符集。

CREATE EXTERNAL TABLE

CBO代价估算体系更新

数仓版提供自动收集统计信息的功能。统计信息作为查询优化器的输入,可以帮助查询优化器生成高质量的执行计划。

统计信息

智能负载管理WLM

通过内置的多级队列实现不同优先级查询的隔离与限流。支持自定义规则进行Bad SQL拦截或队列投递。

优化

  • 导入性能优化:引入新型导入模型,提升导入性能,新建表默认生效。

  • Window算子优化:优化Hash和Sort阶段性能,支持自适应部分聚合。

  • Netty稳定性优化:使用Netty替换Jetty,减少网络连接数和CPU消耗。

    控制链路默认开启Netty,数据链路可配置开启Netty。

  • OSS分区外表优化:DDL支持指定分区字段的类型及取值范围,优化OSS外表的Partition Pruning性能。

  • 导入内存模型与读外表优化:增强OSS与ODPS外表导入性能。

  • CacheFS内存优化:减少冷热数据Cache内存使用,增强集群稳定性。

V3.1.5.8

类别

名称

说明

相关文档

新增

全文检索

全文索引新增支持多种内置分词器,包括Standard分词器、Ngram分词器、Edge_ngram分词器和Pattern分词器。

全文索引的分词器

V3.1.5.10

类别

名称

说明

相关文档

新增

正则表达式函数

新增正则表达式函数REGEXP_MATCHES()REGEXP_SUBSTR()REGEXP_INSTR()REGEXP_REPLACE()

正则函数

2023年1月

数仓版

类别

名称

相关文档

新增

支持SQL诊断功能。您可以查询Stage与Task详情,帮助您提高慢查询的分析效率。

使用Stage和Task详情分析查询

新增弹性IO资源变配规格12核96 GB和16核128 GB

变更集群配置(数仓版)

支持变更云盘等级。

2022年11月

湖仓版

类别

名称

相关文档

新增

AnalyticDB for MySQL发布了湖仓版,该版本在原数仓版的强实时性基础上,新增了离线处理能力。

数仓版

类别

名称

相关文档

新增

支持购买菲律宾和泰国地域集群。

数仓版产品定价

2022年9月

类别

名称

相关文档

新增

中国内地地域的数仓版弹性模式新增两种计算资源规格:16核64 GB(集群版)和24核96 GB(集群版)。

产品系列

2022年8月

V3.1.5.0

类别

名称

说明

相关文档

新增

Decimal类型加强

支持Decimal低精度转高精度和变长Decimal,提升Decimal列IO效率。

表级限速

可单独限制部分表的DML写入速率,避免部分表的写入影响整体性能。默认不限速。

宽表内存管理

优化宽表的内存管理,降低了内存压力。

JSON_UNQUOTE函数

去除json_value的双引号并将json_value中的部分转义符进行转义后,返回处理结果。

JSON_UNQUOTE

JSON_CONTAINS函数

判断JSON文档(Target)的指定路径(Path)是否包含候选值(Candidate)。如未指定路径(Path),则判断JSON文档(Target)是否包含候选值(Candidate)。

JSON_CONTAINS

JSON_CONTAINS_PATH函数

判断JSON文档中是否存在指定路径(Path)。

JSON_CONTAINS_PATH

优化

  • TopN算子优化:针对使用row_number开窗函数进行排序计数,WHERE条件过滤来实现TopN语义的场景,通过排序和条件下推、预聚合等手段减少计算量和数据传输量。TopN算子性能提升10倍,内存消耗减少90%。

  • Window算子优化:全面优化通用的窗口函数。根据数据聚合度、是否有序等不同数据特征使用不同的算法实现窗口函数,性能提升3~7倍。

  • Partial-agg算子优化:提高默认的两阶段聚合的自适应能力。动态采集数据聚合执行过程中的数据特征,判断是否执行预聚合。在无聚合度时聚合算子性能提升2~4倍。

  • 系统日志:磁盘水位超过阈值时,自动清理日志。

2022年7月

类别

名称

说明

相关文档

新增

云盘加密

在创建AnalyticDB for MySQL集群时,用户开启云盘加密功能。开启后,系统会基于块存储对整个数据盘进行加密,即使数据备份泄露也无法被解密,保护数据安全。

云盘加密

2022年3月

类别

名称

说明

相关文档

新增

库表结构优化

AnalyticDB for MySQL会对统计信息进行智能分析,为用户提供冷热数据优化、索引优化和分布键优化三种类型的调优建议,帮助用户降低集群使用成本,提高集群使用效率。

库表结构优化

2021年12月

V3.1.4.13~V3.1.4.16

类别

名称

相关文档

新增

支持Raft配置2个数据副本与1个日志副本,保证数据可靠性的同时降低三副本存储开销。

导出数据到HDFS时支持HDFS的Nameservice的HA功能。

导出至HDFS

优化

  • 优化CREATE VIEW锁粒度,提升并发性能。

  • 提升规格变配时全量备份上传速率。

  • 提升复杂数据类型索引构建性能。

  • 优化后台任务内存管理。

2021年9月

V3.1.4.12

类别

名称

相关文档

优化

提升Hash Join Build性能。

2021年8月

V3.1.4.11

类别

名称

说明

相关文档

新增

实例运行报告API

支持通过调用API查看实例运行报告中的各项指标。

优化

  • 提升全量数据下载速度。

  • 不合理IN下推拦截,默认128个不下推且支持通过配置修改。

V3.1.4.10

类别

名称

说明

相关文档

新增

管理运维事件

支持在AnalyticDB for MySQL控制台查看并调整数据库升级时间。

管理运维事件

优化

  • 时间函数支持下推。

  • Table Scan性能提升。

  • 数据导入支持互斥和公平调度。

2021年7月

V3.1.4.9

类别

名称

说明

相关文档

新增

外表导入导出HDFS数据

支持通过外表将HDFS数据导入到AnalyticDB for MySQL或导出AnalyticDB for MySQL数据到HDFS。

新版诊断SQL

支持查看所有SQL(例如耗时最长的100条SQL或执行失败的SQL)的详情,同时还可以根据诊断结果及优化建议来优化SQL,提高查询性能。

SQL诊断功能介绍

一站式数据管理

控制台新增一站式数据管理入口,支持通过DMS管理数据资产或完成任务开发与调度。

数据资产管理

DMS调度XIHE SQL

全文检索支持使用自定义分词器和自定义词典

全文检索支持使用自定义分词器和自定义词典。

全文索引的分词器

优化

  • 优化前端节点的连接管理,由单线程分发连接改为多线程连接,便于线性扩展写入性能。

  • 优化高频使用TRUNCATE TABLE语句时的性能。

  • 默认打开REPLACE INTO的原子性开关,避免数据跳变。

不涉及

2021年3月

V3.1.1.9 ~ V3.1.3.9

类别

名称

说明

相关文档

新增

计算资源支持资源分组。

弹性模式实例,支持资源组(池)功能,计算资源分组隔离。

新建资源组

支持冷热数据分层。

弹性模式实例,支持将表数据定义为热数据或冷数据,并支持冷热数据切换。

数据存储冷热分离

实例跨规格变配。

支持预留模式实例变配到弹性模式实例。

时间格式兼容AnalyticDB for MySQL

兼容AnalyticDB for MySQL时间格式。例如:2020-08-03T23:59:59

JSON字段支持ALTER TABLE创建或删除索引。

通过ALTER TABLE的方式,对整个JSON字段类型index disabled。

ALTER TABLE

增加binary类型。

协议层元数据增加binary类型。

OSS外表导出优化。

外表导出到OSS单个文件时,支持输出文件头。

导出至OSS

OSS导出文件大小行数限制。

用户指定文件的最大行数,超过行数分裂一个新文件。文件存储大小与行数参数可以同时设置,最先触发的限制另起文件。

增加SQL Plan模块。

控制台增加查看慢SQL的执行计划功能。

查询的执行计划

支持insert into select on duplicate key update

目前支持两种场景:UPDATE的列输入为常数和UPDATE的列输入为SELECT中的列。

OSS外表文件格式。

OSS外表支持ORC格式文件。

batch load优先级。

batch load支持通过hint指定优先级。

优化

limit N语法性能优化。

优化limit N filter算子下推逻辑,提高性能。

兼容性提升。

建表语句对bool或boolean进行兼容。

数据库名称优化。

数据库名称支持大写字母或下划线开头。

2020年7月

V3.1.1.6

类别

名称

描述

相关文档

新增

Timestamp、Datetime列修改

Timestamp、Datetime列进行Modify Column时,支持on update current_timestamp。

表名和列名优化

支持中文表名和列名。

创建OSS外表时的要求

创建OSS外表时:

  • 要求分区列必须放在字段列表之后,否则创建失败。

  • 支持设置OSS文件中第一行为文件头,读取数据时跳过第一行。

创建OSS外表

Create Table As Select语法

支持通过Create Table As Select 语法创建表。

CREATE TABLE AS SELECT(CTAS)

优化

Boolean类型字段

Boolean类型字段的Default值支持数值0和1。

Show Databases

支持Show Databases权限授权。

2020年4月

V3.0.9.6

为提升服务品质,AnalyticDB for MySQL将在本次升级中对基础版用户进行数据库软件升级,升级内容如下所示:

类别

名称

描述

相关文档

新增

GEO函数

支持使用GEO函数。

GEO函数

JSON_EXTRACT函数

支持使用JSON_EXTRACT函数。

JSON_EXTRACT

INSERT INTO VALUES(FROM_UNIXTIME(...))

支持INSERT INTO VALUES(FROM_UNIXTIME(...))

Nested Loop Join关联方式

支持Nested Loop Join关联方式。

Power BI连接

协议层支持Power BI连接。

数据库名

数据库名支持包含中划线(-)。

说明

需要通过反引号(``)将中划线(-)引起来。

优化

零日期

将零日期(零月或者零日)转换为NULL。

Decimal类型的DIV函数

Decimal类型的DIV函数与MySQL保持一致。

DIV

JSON类型中CAST转换

JSON类型中CAST转换对齐MySQL和Hive。

JSON

慢查询记录阈值

慢查询记录阈值调整为1秒。

2020年3月

V3.0.9

类别

名称

描述

相关文档

新增

JSON数据类型及相关JSON函数

支持复杂数据类型JSON以及相关JSON函数。

SELECT NOW()

支持SELECT NOW()

优化

支持最大表数量

集群版最小集群(2个节点组)支持最大表数量由512提升为800。

DDL兼容性

提升了AnalyticDB for MySQL 2.0 DDL兼容性,便于用户无感迁移到3.0 。

BI工具兼容性

持续提升BI工具兼容性,本次全面兼容Power BI。

Power BI

2020年2月

V3.0.8

类别

名称

描述

相关文档

新增

MariaDB JDBC Connector

支持MariaDB JDBC Connector。

日志分析

支持将SLS中的日志数据实时投递到AnalyticDB for MySQL,极大降低了企业进行日志分析的门槛。

将SLS中的日志数据实时投递至AnalyticDB for MySQL

基础版产品系列

该系列主要面向中小企业客户,低成本、高性能快速提升企业核心竞争力。

集群版规格

集群版新增S8(存储密集型)规格,S8主要适用于并发稍低以及性能要求不高的场景。

购买集群灵活性

支持新购和扩容偶数节点组,增加用户购买集群的灵活性,大幅度降低用户成本。

金融云开服

金融云华东1(杭州)、华东2(上海)和华南1(深圳)开服。

国际站开服

国际站中国香港、印度尼西亚(雅加达)和马来西亚(吉隆坡)地域开服。

优化

时间类型

时间类型TIMESTAMP和DATETIME兼容MySQL SQL_MODE的NO_ZERO_DATE模式。

2019年12月

V3.0.7

类别

名称

描述

相关文档

新增

规格C24

新增高计算密集型规格C24,更好地满足用户复杂计算的诉求。

升配功能

新增升配功能,用户可以在C8、C4、C24三个规格之间在线秒级切换。

监控报警功能

新增监控报警功能,用户通过云监控设定所有监控项的阈值,超过阈值将触发报警。

监控报警

终止查询

新增终止查询功能,用户可以在控制台实时查看正在运行的查询并进行终止查询操作。

DRDS(已升级为PolarDB-X)同步至AnalyticDB for MySQL链路

新增DRDS同步链路,用户可以通过DTS把DRDS数据实时同步到AnalyticDB for MySQL中进行分析。

开服

国际站首度开服,本次开服区域为新加坡和日本。

优化

创建视图

创建视图支持窗口函数。

CTE使用场景

丰富CTE使用场景,INSERT SELECT FROM子句中支持CTE。

INSERT SELECT FROM

2019年9月

V3.0.6

类别

名称

描述

相关文档

新增

规格C4

新增学习型规格C4,降低用户的使用门槛。

COLLECT_SET函数

支持COLLECT_SET函数。

优化

集群生产和扩容时间

优化集群生产和扩容时间,大大节约用户时间成本。

2019年8月

V3.0.5

类别

名称

描述

相关文档

新增

列的默认值

支持将列的默认值设置为当前时间,例如gmt_create datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP

OGG支持

OGG支持ADB,增强Oracle数据同步至ADB。

磁盘扩容

新增磁盘优雅扩容功能,极大提升了灵活性,降低用户成本。

金融云售卖

支持金融云售卖。

虚商平台物流云和聚石塔

支持虚商平台物流云和聚石塔。

优化

修改非自增键的报错信息

优化非自增键改成自增属性报错信息。

2019年7月

V3.0.4

类别

名称

描述

相关文档

新增

备份功能

增量备份和备份恢复功能,通过备份集和时间点恢复数据,使数据具有最大的可恢复性。

LOAD DATA

新增LOAD DATA LOCAL INFILE功能。

LOAD DATA LOCAL INFILE

购买产品灵活性

购买任意偶数节点组功能,例如在控制台上勾选2、4、6或者8等偶数节点组,极大地增强了灵活性。

数据类型和重要函数

新增数据类型以及部分重要函数。

优化

兼容性

完全兼容Navicat、FineReport和FineBI三款工具,大幅度提升SequelPro兼容性。