AI 助理
备案控制台
官方文档
输入文档关键字查找
首页 实时数仓 Hologres 产品概述 动态与公告 功能发布记录

功能发布记录

更新时间：
产品详情
我的收藏

本文为您介绍Hologres产品功能的发布信息。

2025年

Hologres V4.0版本（2025年09月）

核心功能增强

核心功能说明

相关文档

行为变更说明

AI&检索能力增强

  • （Beta）借助大语言模型（LLM），通过AI Function对文本和图像等非结构化数据进行分析和检索。所有模型均完全托管于Hologres的AI节点中，可确保性能、可扩展性和治理，同时保障数据安全和合规。AI Function支持以下场景：

    • 使用Embedding模型结合Object Table，实现对文本、图像等非结构化数据的向量检索以及全文检索。

    • 汇总文本、图像信息的关键洞察。

    • 通过自然语言对文本进行筛选和分类，以及多语言内容进行翻译与本地化处理。

    • 开展情感分析与基于维度的分析，助理服务优化。

    • 解析文档，为数据分析和检索增强生成（RAG）流程提供支持。

  • （Beta）提供全新的HGraph向量检索技术实现性能提升10倍以上，并支持标量和向量的混合检索，适用于图像和视频检索、行为推荐、安全和欺诈检测等业务场景。同时支持内存和落盘的混合索引，可以将内存占用减少80%，QPS影响仅5%（在标准的VectorDB Benchmark上），并为自动驾驶等大数据量和高性能向量检索的场景提供了一种具有高性价比的解决方案。文档待开发

  • （Beta）新增全文倒排索引和内置分词器实现全文搜索，支持以下场景：

    • 支持关键词检索、短语检索、自然语言检索等检索方式。

    • 支持计算BM25分数，用于文本相似度的召回。

    • 支持和向量检索结合，用于全文+向量的混合检索场景。

    • 支持全文+标量的混合检索场景。

  • （Beta）新增全局二级检索功能，支持非主键列上进行高效Key-Value点查的场景，支撑Feature Store，电商平台等需要高效非主键点查的场景。

  • 从Hologres V4.0开始，新购Hologres实例，查询MaxCompute外部表默认使用全新的 Common Table链路。相比之前的链路，性能有极大提升，并且支持MaxCompute Delta Table、Append 2.0 Table等，更多详情介绍，请参见基于Common Table链路访问MaxCompute。

  • 从Hologres V4.0开始，MaxCompute通过直连方式访问Hologres默认数据新鲜度为1分钟。

  • 默认开启参数hg_serverless_computing_run_compaction_before_commit_bulk_load，即使用Serverless Computing执行数据导入时，默认同步完成Compaction，减少对本实例资源的影响。详情请参见使用Serverless Computing执行Compaction任务。

  • 使用CREATE EXTERNAL TABLE的模式创建DLF上的表时，表的默认的File Format从ORC改为由 Paimon SDK决定。详情请参见CREATE EXTERNAL TABLE。

  • 在查询中使用PQE执行的SQL时，已增加单节点内存保护。对于可能影响实例稳定性的查询，可能会出现内存溢出（OOM）现象，以避免由于工作节点故障转移而导致实例的不稳定性。

  • 从Hologres V4.0开始，新建全量刷新模式的Dynamic Table时，会默认以Adaptive Execution方式执行，以降低大任务峰值计算资源，提升全量大任务的执行稳定性。此外，计算资源自动准确推导能力，可降低用户成本，执行过程动态调整Plan能力，以降低统计信息误差导致的Bad Plan的问题。

引擎增强

  • 支持TopN Runtime Filter，用于加速TopN场景的数据查询。

  • （Beta）支持内部表的Time Travel，允许查询在定义时间段内的任何时间点访问历史数据。

  • （Beta）支持HBO（基于历史查询的查询优化），系统将收集慢查询的执行详情，自动分析查询计划中是否存在需要调优的地方，并根据这些历史智能的调整查询计划。

/

Dynamic Table

（Beta）支持External Dynamic Table全量/增量将加工后的数据回写至Paimon，开启湖上数据近实时加工新时代。至此，Dynamic Table支持仓到仓、湖到仓、仓到湖以及湖到湖的近实时数据加工。特别是结合Serverless型实例，可以实现超低成本的湖上数据加工。

语法增强

支持QUALIFY子句允许过滤窗口函数的结果。

QUALIFY（Beta）

函数与生态扩展

ClickHouse生态兼容性增强：支持toDayOfMonth、toDayOfYear和toHour等多个时间截取函数，相比原extract(field from timestamp)函数性能可提升50%。

日期和时间函数

Serverless&弹性

  • （Beta）计算组实例支持 Multi-Cluster 弹性扩展能力，计算组由一个或者多个Cluster组成，可根据计算组的负载自动进行横向扩缩容（Scale out），满足计算组组内部的资源隔离和高并发场景需求。

  • （Beta）计算组实例实现极致写与写隔离，支持使用实例中的任意计算组执行数据的批量写入任务，批量写入不再全部依赖Leader计算组，也无需加载Table Group。

  • （Beta）计算组实例热升级能力增强，支持升级时SQL无损、连接闪断。

  • 支持通过SQL方式切换当前连接的计算组。

数据湖分析

（Beta）支持MaxCompute数据镜像，支持MaxCompute数据Zero ETL到镜像内部表的预热，极大提升查询效率。在配置数据镜像后，查询MaxCompute表的性能和查询Hologres内部表相同，用户无需配置专门的数据同步任务来将数据从MaxCompute同步到Hologres。

/

Hologres V3.2版本（2025年07月）

核心功能增强

核心功能说明

相关文档

行为变更说明

引擎增强

  • 支持CTE表达式自适应Reuse/Inlining。

  • BETWEEN表达式计算优化。

CTE Reuse策略优化

  • 从Hologres V3.2版本开始，新增CTE表达式自适应优化策略。CTE Reuse策略同时受到optimizer_cte_inlining和hg_cte_strategy两个GUC参数影响。hg_cte_strategy和optimizer_cte_inlining为两个独立参数，可以分别设置，与设置顺序无关。行为如下：

    • optimizer_cte_inlining = off时，CTE策略为Reuse（保持不变，不受hg_cte_strategy影响）。

    • optimizer_cte_inlining = on时，不再强制inline，CTE策略由hg_cte_strategy决定。此时：

      • hg_cte_strategy = auto（默认值）时，会根据CTE的复杂度等因素，由优化器（Query Optimizer，QO）自动选择是inline还是Reuse。

      • hg_cte_strategy = inlining时，CTE强制inline。

      • hg_cte_strategy = reuse时，CTE强制Reuse。

  • Tag和Branch成为保留字。

    数据库、表和列都不支持使用保留字，如果SQL查询表达式的列名需要使用，请使用半角双引号（""）。

Dynamic Table

  • 增量场景拓展，支持ARRAY_AGG和STRING_AGG等函数使用增量刷新模式。

  • DataWorks数据地图支持Dynamic Table血缘分析。

Serving能力增强

Fixed Plan支持简单表达式，支持更多场景的高QPS的KV点查和写入。

Fixed Plan加速SQL执行

函数与生态扩展

支持Lambda表达式，支持含Lambda表达式的高阶数组函数。

LAMBDA表达式及相关函数

Serverless能力

  • Serverless Computing功能场景拓展，支持读写加密表，含内部表加密表和MaxCompute外部表加密表。

  • 查询队列能力拓展，支持按表对SQL分类，将某张表的请求自动路由至Serverless Computing中执行。

数据湖分析能力

  • 支持Paimon湖表数据镜像，加速湖上数据查询。

  • 对接DLF 2.5元数据管理系统，支持使用DLF提供的REST接口对接湖上Paimon Catalog。

  • 支持Paimon数据湖数据镜像，支持湖上数据的Zero ETL到镜像内部表的预热，极大提升查询效率。

  • 提供针对Paimon的Time Travel查询功能，可通过指定Timestamp、Tag的方式读取历史数据。

  • 支持读取Paimon表的Branch数据，支持读取指定Branch功能，并支持Fallback行为读取数据。

  • 允许用户禁止分区表的全表扫描，防止因为全表扫描导致占用过多资源的问题。

  • 性能提升，在TPC-H 1 TB on Paimon的查询性能提升一倍。

生态能力增强

Binlog支持裁剪和压缩，减少消费Binlog时对于IO的占用。

/

Hologres Serverless型实例发布（2025年07月）

核心功能增强

核心功能说明

相关文档

Hologres Serverless型实例（Beta）发布，开启免费邀测。

Hologres Serverless型实例是Hologres基于云原生的Serverless架构研发的新实例形态，您无需预购买独享计算资源，无持有成本，即可享受灵活弹性、简单易用的Hologres计算与存储服务。

您可使用阿里云账号（主账号）填写表单，申请试用。

Serverless型实例（Beta）

Hologres V3.1版本（2025年04月）

核心功能增强

核心功能说明

相关文档

行为变更说明

Dynamic Table

  • 支持基于逻辑分区表的动态分区，大幅简化分区表的使用。

  • 新增Auto Refresh模式，用户仅需指定数据新鲜度（Freshness），引擎自动优化刷新策略，提升数据刷新灵活性。

  • 增量刷新支持双流JOIN场景，提升实时数据处理灵活性。

  • 增量刷新支持RoaringBitmap函数，用于支持UV、PV等复杂场景增量计算。

  • 全量刷新模式支持Adaptive Execution（Beta），引擎内部自适应，在兼具低延迟基础上，显著提升执行的稳定性（降低OOM概率）、易用性（例如动态推导计算资源、动态调整计划）。

  • 查询队列Query Queue已完成Beta阶段，生产可用。详情请参见查询队列Query Queue。

  • TRUNCATE语句由DDL变更为DML类型，降低了TRUNCATE操作对于FE节点的压力。详情请参见TRUNCATE。

  • COPY导入主键表时，GUC hg_experimental_copy_enable_on_conflict默认开启，即支持COPY导入有主键表时设置数据更新策略。详情请参见COPY。

  • 使用hg_insert_overwrite功能时，SQL（标准的SELECT语句）指定的列的数量、数据类型均需和target_table（Hologres内部表）的列严格对应，否则会报错error: table "hg_alias" has x columns available but x columns specified或error: column xx is of type xxx but expression is of type xxx。详情请参见INSERT OVERWRITE。

  • 系统表hg_table_storage_status变更，V3.1版本起不计算表在内存（Mem Table）中的数据，只计算表的实际存储，内存表原理详情请参见INSERT。

Serverless能力

  • Serverless Computing功能场景扩展，支持Insert Overwrite、Resharding、CTAS等复杂DML场景，支持存储过程、Rebuild及加密表。

  • 实现计算组无损扩缩容（Beta），保障计算组变配时的业务连续性。

  • 支持自动限流能力（Beta），根据负载动态限制查询队列的并发数，显著提升集群稳定性。

  • 新增自适应Serverless Computing路由能力，大查询自动使用Serverless资源执行。

  • 支持设置Serverless Computing的每日可用资源量上限。

  • 优化Serverless Computing在并发场景下对缓存的复用能力，提升并发场景下的查询性能。

  • 支持RAM ROLE对计算组执行扩缩容。

性能优化和查询能力增强

  • 重构查询引擎，推出QEv2，并支持了compution on light-weight encoding，实测在TPC-H 1TB基准测试中性能提升33%。

  • 引擎自适应优化，根据Cost model自动下推AGG Plan，降低参与JOIN的数据量，显著降低延迟和CPU开销。

  • 自动推导JOIN字段的NOT NULL属性，并将NOT NULL条件下推，提前过滤NULL值，自动消除AGG的GROUP BY常量字段。

  • 新增Query Cache功能，支持特定查询结果缓存加速。

  • 增强hg_stats_missing视图的统计信息诊断能力，新增autovacuum_enabled（是否开启AUTO ANALYZE）、reason（统计信息缺失原因）等字段，便于诊断和补全统计信息。

  • AUTO ANALYZE系统优化：统计信息收集增强，在表缺失统计信息时，自动获取表的行数，提升查询计划良率。增强统计信息的持久性和抗干扰性，减少不影响统计信息的Schema变更（如RENAME，转冷存等）带来的统计信息清空，降低系统负载，提升执行计划良率。

数据管理与写入优化

  • 存储与索引优化

    • 新的逻辑分区表（Beta），提升分区表使用灵活性，同时元数据管理更轻量，数据管理更便捷。

    • 新增存储生成列（Stored Generated Columns）（Beta），简化数据加工，预计算加速查询。

    • 推出Rebuild工具（Beta），支持轻量级索引（Distribution Key、Clustering Key、Segment Key），及其他表结构修改。

  • 写入能力增强

    • 主键表COPY支持局部列更新，降低FIXED COPY场景。使用Fixed FE后，可以不占用原有的FE的连接数。

    • 原生支持INSERT OVERWRITE语法，更灵活实现对普通表、逻辑分区表的INSERT OVERWRITE操作。

函数与生态扩展

  • 内置函数新增

    • 新增属性关联漏斗函数和维度分组漏斗函数。

    • Spark/Presto兼容函数扩展，提升跨引擎开发效率。

    • Roaring Bitmap函数（部分）支持64位，用户画像分析场景扩展。

  • 远程函数支持

    • 支持通过函数计算Function Compute调用Remote UDF，灵活扩展ETL能力。

企业级特性升级

  • 强化企业级权限管理能力，支持在PostgreSQL协议的连接选项中指定Security Token，通过JDBC或PSQL，即可实现RAM角色登录。

  • 支持表回收站能力，用于误删除表之后，在表回收站中恢复表及其数据。

  • 数据脱敏功能增强，支持View结果脱敏、非TEXT字段类型脱敏，大幅增强敏感数据的保护，防止敏感数据被暴力破解。

数据湖分析能力

  • 外部数据源支持

    • 增强External Database集成，主流BI工具（Quick BI/Tableau/Superset）无缝访问。

    • External Database支持指定元数据刷新间隔。

    • External Database支持ANALYZE、AUTO ANALYZE。

    • 支持通过INSERT INTO写入Paimon主键表，方便湖仓数据自由流转。

    • 支持通过INSERT INTO写入Iceberg表，兼容更多开放数据湖格式。

  • MaxCompute透明加速

    • Hologres直读MaxCompute数据升级为2.0版本（Beta），基于MaxCompute C++ Native SDK重构了底层直读方式，进一步提升Hologres访问MaxCompute数据源的性能和体验。

    • 支持直读MaxCompute Delta Table（Beta）。

    • 支持以脱敏方式直读MaxCompute动态脱敏数据，提供一体化脱敏体验（Beta）。

    • 支持直读MaxCompute Schema Evolution表，支持的操作类型包括增加列、删除列、修改列类型、调整列顺序。

    • 支持基于DataWorks新版数据开发实现MaxCompute Project、Schema、表一键映射至Hologres。

    • 支持基于DataWorks新版数据开发实现MaxCompute表数据一键导入至Hologres。

2024年

Hologres V3.0版本（2024年09月）

核心功能增强

核心功能说明

相关文档

行为变更说明

引擎能力增强

  • 重磅发布Dynamic Table，支持全量刷新和增量刷新两种模式，数据自动流转，自动刷新，解决实时数仓分层、流批一体等强需求，满足不同时效性数据分析需求。

  • Serverless Computing能力升级，支持SELECT、COPY等场景。对于临时大查询，提供云原生的资源使用方案。

  • 计算组支持分时弹性（Beta），支持计算资源按时弹性，满足不同时段的差异化资源需求，避免相互干扰，更大化提高资源使用率。

  • 支持查询队列：

    • 根据业务需求创建查询队列，并设置队列的并发度和队列长度，提升实例稳定性。

    • 提升大查询治理能力，支持为队列设置大查询的超时时间，减少对实例的影响，并支持大查询使用Serverless Computing资源重跑大查询。

    • 支持使用Serverless Computing执行查询队列的全部查询。

  • Fixed Plan写入、更新及点查性能优化，相较于V2.2版本整体提升约10%。

  • 支持对分区父表执行INSERT OVERWRITE。

  • 支持存储过程（Beta），定义常用SQL，简化业务复杂度。

  • Schema Evolution能力增强，支持修改列的数据类型。

  • Copy能力增强，导入有主键表时支持配置整行更新策略，而非主键冲突报错。

  • 查询引擎能力增强，支持Cross Join提升在非等于条件下JOIN的查询性能。同时支持Partial Agg，在GROUP BY Key较多时，可以限制内存，降低OOM的概率。

  • 存储引擎能力增强，提升了当Segment Key设置了非顺序写入列时，列存表的更新性能。

  • 函数能力增强：

    • TRY_CAST函数增强，目标数据类型支持DATE、TIMESTAMP、TIMESTAMPTZ。

    • 支持在HQE上运行含DISTINCT、ORDER BY的ARRAY_AGG和STRING_AGG函数，提升查询性能。

  • SQL Hint，完成Beta阶段，生产可用，默认开启。

  • COPY在元仓中的记录由1条变为2条。详情请参见COPY。

  • 从Hologres V3.0.10版本起，计算组实例每个计算组的规格上限由512 CU增加至1024 CU。

运维&稳定性改善

  • 联合SLS推出SQL审计，用于对数据库活动进行监控、记录和分析，以确保数据安全和遵从相关政策。

  • 计算组扩容能力增强，支持扩容期间读写不中断。

  • 支持将小于100ms的DML和查询以聚合方式记录在Query Log系统表中，提升SQL观测和分析能力。

湖仓一体

  • 新增External Database功能，支持DLF、MaxCompute等数据源的Catalog级别元数据映射，提升数据湖的元数据和数据管理能力。

  • 支持对接Hive MetaStore映射元数据，透明加速EMR集群。

  • 支持使用INSERT INTO方式写入Paimon Append Table。

  • 支持读取Iceberg湖格式，进一步扩展数据湖生态。

  • 安全能力增强，默认使用SLR透传身份访问DLF2.0，同时支持以RAMRole的方式访问DLF2.0。

  • 表格能力增强。

    • 重构Delta Lake格式的Reader，读取性能大幅提升。

    • 支持Paimon Deletion Vector优化，提升存在大量数据删除，但是未及时Compaction时的查询性能。

  • Hologres从V3.0.22版本开始支持访问MaxCompute Delta Table。

Serverless Computing功能正式商业化（2024年07月）

核心功能增强

核心功能说明

相关文档

行为变更说明

Hologres Serverless Computing功能完成Beta阶段

Hologres Serverless Computing功能完成Beta阶段，生产可用，并承诺SLA，于北京时间2024年07月01日正式商业化。

Hologres Serverless Computing功能完成Beta阶段，生产可用。

Hologres V2.2版本（2024年04月）

核心功能增强

核心功能说明

相关文档

行为变更说明

引擎能力增强

  • 引擎底层能力持续优化，整体性能相比之前版本提升约15%。专注于向量执行引擎（Hologres Query Engine，HQE）和优化器（Query Optimizer，QO）的持续演进，其中：

    • 向量执行引擎HQE能力优化，在如下场景中性能得到提升：

      • Runtime Filter能力增强，支持Shuffle Join场景，Runtime Filter场景的查询效率提升约30%。

      • 优化HQE的RPC连边机制，每个Worker内数据先合并再进行Worker间分发，显著降低网络开销，在带有Shuffle的场景上，查询性能提升8%。

    • 优化器QO性能优化，SQL在Plan阶段的处理速度提升40%：

      • 优化内存分配机制和Join算法，提升多Join场景的查询性能。

      • 优化DATE_PART函数行为，提升对带有时间属性的字段（如年份）的查询效率。

      • 优化DATE和TIMESTAMP类型字段的比较行为，提升时间字段的查询效率。

      • 优化复杂函数中带有Filter的运算行为，通过调整多个Filter的顺序，减少数据计算量，提升查询效率。

  • 推出Serverless Computing，可以将指定的数据导入或ETL等长周期作业运行在共享的Serverless资源池中，减少实例内部的任务竞争和相互干扰，提升实例稳定性（仅部分Region支持）。

  • 计算组（Virtual Warehouse）实例支持写入计算组的自动路由，无需手动指定计算组，系统自动路由，降低执行写入操作时计算组的使用难度。

  • 动态分区Auto Partition支持自定义分区创建时间或删除时间，以及自定义冷存表搬迁时间，提升动态分区的易用性。

  • 支持SQL Hint语法，通过Hint改变SQL的执行方式，从而实现对SQL进行细粒度的执行优化。

  • hg_stat_activity功能优化，提供更精准的CPU、Memory指标，并支持查看MaxCompute数据导入Hologres的进度，显著提升活跃Query的可观测能力。

  • 新增路径分析函数，可分析每个路径节点的节点流量、耗时情况，进一步帮助业务分析产品运营策略，优化产品设计思路。

  • 函数能力增强：

    • 支持类型转换函数try_cast，自动将异常数据转换为NULL值而非报错，简化异常数据处理成本。

    • 支持时间和日期类新函数dateadd、datediff、last_day。

    • 支持在HQE上运行多种通用聚合函数，以提升查询性能。

  • Hologres从V2.2版本开始，Fixed Plan链路在慢Query日志中的Engine Type名称由SDK更换为FixedQE，与监控指标的FixedQE对齐。

  • Hologres从V2.2版本开始，单个Frontend节点连接数由128个增加到256个，总连接数也因此增加了一倍。详情请参见实例管理。

  • INSERT OVERWRITE和BSI函数已完成Beta阶段，生产可用。

  • Hologres从V2.2版本开始，SELECT hg_dump_script()语句返回的建表属性由CALL语法变更为WITH语法，有效提升建表便捷性和可阅读性，详情请参见查看表结构。

运维&稳定性改善

  • 支持SQL指纹并上报慢Query日志，可通过对SQL指纹的聚类分析，提升问题定位和异常监控能力。

  • 透出QE、FixedQE、Binlog等监控指标，提升业务的观测性和可运维能力。

  • HoloWeb支持Query洞察，一键查询获取Query执行信息、表的元数据信息、锁排查等，进一步提升问题排查效率。

  • 支持跨AZ容灾，提升实例的灾备能力（仅部分Region支持）。

  • 计算组扩容后做Rebalance时，系统自动对查询（SELECT）类Query进行重试，降低业务影响，提升在线服务的稳定性。

  • 优化引擎错误码和报错信息，提升慢Query日志分析效率。

    • 优化DDL duration计算逻辑，提升DDL操作执行时间的采集准确性。

    • 支持在慢查询日志中记录EXPLAIN ANALYZE结果，详细记录每个算子的运行时数据。

  • 版本升级技术底层优化，使用新一代的Physical Restore技术，在元数据较多时大幅缩短升级耗时，降低升级对业务的影响。

  • FE节点表锁机制升级为短锁，有效解决DDL卡住、以及FE节点元数据不一致出现异常报错等问题，提升FE节点元数据的稳定性和一致性。

  • OpenAPI能力升级，新增计算组、数据湖加速、资源组等接口，提升实例运维管理能力。

生态拓展

  • 外部表自动加载（Auto Load）功能支持MaxCompute三层模型，可使用hg_experimental_auto_load_foreign_schema_mapping参数指定Schema映射关系；支持MaxCompute外部表Schema Evolution，如增加列、删除列、修改列名及列顺序。

  • 外部表自动加载（Auto Load）功能支持通过DLF元数据自动加载，加速查询存储于OSS上的表。

  • 数据湖架构升级，ORC、Parquet格式外部表支持使用内置高速磁盘和内存实现多级缓存，并支持谓词下推过滤，大幅提升读取性能。

  • 支持通过服务关联角色访问MaxCompute外部表，以更好地配置云服务所需权限，避免误操作带来的风险，可通过Hologres管理控制台一键授权服务关联角色。

  • 支持通过HoloWeb可视化访问OSS数据和MaxCompute三层模型指定的Schema下的表。

2023年

Hologres V2.1版本（2023年10月）

核心功能增强

核心功能说明

相关文档

行为变更说明

引擎能力增强

  • 针对单条以及多条 COUNT DISTINCT 在运行时自动性能优化，显著提升 COUNT DISTINCT 场景的查询效率。

  • 查询优化器新增Row Group Filter机制，针对列存表，同一列的多行数据组成Row Group，并且记录每个Row Group的max/min值，在查询过滤对应列时，可以在不读取数据的情况下对Row Group过滤，显著降低查询开销，提升查询性能。

  • 优化Runtime Filter能力，支持多列Join场景，显著提升Join效率。

  • 新增手动触发Full Compaction能力，合并小文件，提升查询效率。

  • 新增区间漏斗分析函数，用于分析用户活动的转化情况和转化情况的对比。

  • 新增Bit-Sliced Index（BSI）扩展库，优化高基数标签场景、用户属性标签与行为标签联合查询的性能与易用性。

  • 聚簇索引Clustering Key支持设置降序排列，在排序场景下利用聚簇索引，提升查询性能。

  • 优化低频访问存储的缓存机制，提升低频访问存储的查询性能。

  • 新增CREATE TABLE WITH、ALTER TABLE SET语法，替代原有 set_table_property 语法，简化表属性设置过程。

  • 优化无主键表写入能力，无主键表批量写入不产生表锁，改为行锁，可以与Fixed Plan同时进行。

  • Proxima向量计算支持先建表并导入向量数据、再创建向量索引，缩短索引创建时间，简化向量计算使用。

  • 函数能力增强：

    • 支持若干数组函数运行在HQE，提升函数性能。

    • 新增KeyValue函数，实现字符串的拆分。

    • 新增IF函数，简化类型检测场景，降低MySQL迁移成本。

运维&稳定性改善

  • 慢查询能力增强，提升用户分析慢查询的效率。

    • 支持在慢查询日志中记录EXPLAIN ANALYZE结果，详细记录每个算子的运行时数据。

    • Fixed Plan诊断能力增强，写入场景affected_rows数据上报元仓，查询场景result_rows、result_bytes数据上报元仓。

  • 新增hg_relation_size函数，用于查询的表占用的存储明细。

  • 兼容原生PostgreSQL行为，支持负载均衡，实现在主从架构场景下的负载均衡和故障自动转移，提升服务可用性。

  • OpenAPI能力升级，新增创建实例、实例续费、实例变配、释放实例接口，提升实例运维管理能力。

生态拓展

数据湖加速支持Paimon格式存储。

OSS数据湖加速

计算组实例发布（2023年6月）

核心功能增强

核心功能说明

相关文档

发布计算组（Virtual Warehouse）实例。

支持单实例内部多种负载隔离，支持读写隔离，写与写隔离，读与读隔离，支持弹性热扩缩，支持流量灵活切换，提供多场景、多团队灵活的数据共享与计算资源隔离需求，满足企业级关键业务的隔离需求。

计算组实例架构

Hologres V2.0版本（2023年4月）

核心功能增强

核心功能说明

相关文档

行为变更说明

引擎能力增强

  • 新增Runtime Filter，优化join过程中的过滤行为，减少数据扫描量，降低IO开销，典型多表关联场景中，有20%以上性能提升。

  • 查询引擎新增Lazy Create Fragment Instance机制，对于大表查询（常见预览场景）limit N场景，降低查询开销，显著改善查询性能。

  • 全面优化执行计划展示格式（Explain & Explain Analyze），改善可阅读性，简化SQL性能优化手段。

  • 优化分布式事务能力，新增支持多条DML混合事务场景。

  • 支持Drop Column。

  • 支持CREATE TABLE AS语法，简化表结构迭代优化场景。

  • 支持流式COPY，无需攒批，写入吞吐更高。

  • 支持在JSONB列式存储优化中设置Bitmap索引，加速等值过滤场景。

  • 支持将DATE类型设为主键及分区表分区键，优化分区剪裁，当分区字段IN Array的长度超过阈值（默认100）同样支持分区裁剪。

  • 更多引擎内部优化：

    • 存储引擎优化Tablet Lazy Open机制（主从实例均支持）：超过24小时无访问的表自动关闭内存开销，当打开表的数据量超过阈值时基于LRU策略动态选取对应Tablet进行关闭，降低表多场景下的常驻内存开销。

    • 存储引擎优化Schema存储管理机制，统一通过Meta Tablet存储管理，降低表多、Shard多场景下Schema常驻内存开销，降低资源开销。

    • 存储引擎优化快速恢复能力，支持在部分表常规恢复有问题时以修复模式启动快速恢复。元数据管理默认支持逻辑恢复能力，在分区数多的场景下有效缩短恢复时间，在数万分区场景下，有5倍以上的提速恢复效果。

  • 函数能力增强：

    • 支持更多函数运行在HQE，提升函数性能。

      • 重构Table Function函数支持框架，支持generate_series（INT、BIGINT、NUMERIC）运行在HQE。

      • 重构PQE函数支持框架，支持left、right、text::timestamp、timestamp::text运行在HQE。

    • 新增数组函数，支持array_max、array_min、array_contains、array_except、array_distinct、array_union函数。

    • 新增聚合函数max_by与min_by，简化窗口类排序操作。

  • 列存不再支持Segment存储格式，有Segment格式的实例暂不支持升级到V2.0及以上版本，可以通过工具函数hg_convert_segment_orc完成批量格式转换，详情请参见更改列存表的数据存储格式。

  • 为避免误用Table Group造成资源浪费，从V2.0开始限制单Table Group及实例级别总Shard数上限，详情请参见Table Group与Shard Count操作指南。

  • DataHub写入不再支持SDK（遗留）模式，全面转为JDBC模式，新模式更稳定，支持数据类型更丰富。

  • 默认装载Binlog扩展，JDBC消费时，无需手动创建相关扩展。通过JDBC消费Binlog，WAL Sender数量配额默认增加10倍，从200 Slot/32C扩大至2000 Slot/32C，完成Beta阶段，生产可用，详情请参见通过JDBC消费Hologres Binlog。

  • 备份恢复能力（本地备份与恢复），分层存储能力（数据分层存储），完成Beta阶段，生产可用。

  • 更多行为变更，参考默认行为变更说明。

运维&稳定性改善

  • 在pg_stat_activity基础上，推出hg_stat_activity，兼容原有用法，同时极大丰富运行时诊断信息，增加执行阶段，执行引擎类别，资源使用，运行时锁等信息。

  • 完善Shard级Replica能力完成，支持单实例内高可用及负载均衡扩吞吐场景，可容忍部分机器故障及热点不均衡问题。

  • 重构Auto Analyze能力，采用分布式Auto Analyze，支持外表Auto Analyze，支持湖仓加速集群Auto Analyze，支持分区表增量Auto Analyze，解决超大表，超宽列Analyze失败等问题，显著减少表缺少统计信息场景，执行计划更稳定，性能消耗更低，更稳定。

  • 优化存储加密配置，支持灵活的单表加密配置。

  • 优化数据血缘机制，支持在DataWorks中对MaxCompute和Hologres跨引擎血缘分析，支持CTE等表达式的血缘解析。

  • 新增管控OpenAPI，灵活控制实例生命周期。

生态拓展

  • 升级针对MaxCompute外表的查询加速引擎，改善兼容性与稳定性。

  • 湖仓加速场景中，在集成数据湖DLF元数据管理下，支持使用DLF数据目录（Multi-Catalog）做元数据隔离，方便在测试环境、开发环境、跨部门集群之间做元数据隔离。

  • 湖仓加速场景中，支持加速存储于OSS-HDFS（又名JindoFS）上的数据，可以更好地满足大数据Hadoop生态和AI等领域的数据湖计算场景。

  • 新增ClickHouse兼容函数，简化数据和作业迁移场景。

2022年

Hologres V1.3版本（2022年7月）

核心功能增强

核心功能说明

相关文档

行为变更说明

引擎能力增强

  • 支持实时物化视图，提升实时聚合场景查询效率（Beta）。

  • JSONB存储优化，通过采用列式存储优化，显著提高查询统计的效率，提高数据压缩效率。

  • 支持分区表动态分区管理，支持自动创建与删除分区子表。

  • 新增UNIQ精确去重函数，显著提高去重计算效率，优化多Count Distinct场景，节省内存消耗。

  • 引擎优化。

    • 支持符合FixedPlan情况的Insert语句直接写入分区表父表。

    • 支持聚合表达式过滤能力，支持string_agg()和array_agg() 过滤。

    • 支持RowType，支持row()、row_to_json()等函数。

    • 支持修改表所在的Schema。

    • 支持CTE Reuse算子，提升with表达式运算效率。

  • 支持读取MaxCompute三层模型（project.schema.table)。

  • 支持读写MaxCompute Transactional类型表，支持读取MaxCompute Schema Evolution状态表（在MaxCompute侧执行过删除列、修改列顺序，修改列类型操作的表），支持Array、Date类型回写 。

默认行为变更说明

运维能力和稳定性改善

  • 支持自助配置共享存储从实例，优化弹性和高可用 。

  • 新增元仓表table_info，提升数据治理能力。

  • 持续内存优化，减小元数据内存占用。

  • 支持自动周期备份和手动备份，以便在某些场景下，例如数据误操作时，恢复历史数据。

生态拓展

  • 生产级支持PostGIS扩展能力 。

  • 支持Oracle扩展包，新增众多兼容函数。

  • 支持通过DLF读取Hudi、Delta格式外部表，支持通过DLF写入CSV、Parquet、SequenceFile、ORC格式数据至OSS外部表。

  • 改善BI兼容性，在Tableau兼容性测试中（TDVT）通过率提升至99%+。

2021年

Hologres V1.1版本（2021年10月）

核心功能增强

核心功能说明

相关文档

行为变更说明

运维能力改善

  • 新增资源组隔离能力（Beta），通过设计多个资源组，实现实例内部不同用户的计算资源线程级负载隔离，可以更好地支撑多用户、多场景的使用方式。

  • 支持Hologres实例在线热升级，升级期间，读（查询）数据不受影响，升级版本时可以加入实时数仓Hologres交流群申请使用热升级。

  • Auto Analyze能力，在Hologres V1.1版本中转为默认开启。

  • Hologres新引擎直读MaxCompute，在V1.1版本中转为默认开启。

  • Resharding函数完成Beta，相关函数名更新。

更多行为变更，请参见默认行为变更说明。

引擎能力增强

  • 支持将表设计为行列共存结构，一份数据同时支持点查、OLAP多种查询场景。

  • 支持JDBC实时消费Hologres Binlog（Beta）。

  • 支持Hologres Binlog按需启用，配置动态修改。

  • 支持重命名列名称。

  • 新增JSONB索引（Beta），加速JSON类型数据的查询检索。

  • 优化内存中元数据管理机制，增加元数据缓存与压缩，更有效率的管理内存。

外表能力优化

  • 支持通过DLF读取 CSV、Parquet、SequenceFile、ORC格式的OSS数据。

  • 支持Hologres跨库查询，支持Hologres多实例联邦查询。

安全增强

  • 支持Hologres内部表数据存储加密（Beta），提升数据访问安全能力。

  • 支持读MaxCompute加密数据（Beta），丰富Hologres兼容MaxCompute生态。

Hologres V0.10版本（2021年5月）

核心功能增强

核心功能说明

相关文档

引擎增强

  • 支持自动采集表的统计信息：数据写入更新时自动采样表的统计信息，以便生成更优的Query Plan，不再需要手工执行Analyze Table。

  • 支持点查（Key/Value）场景的毫秒级高可靠（Beta）：支持Shard级别多副本配置，支持毫秒级主副本切换和查询重试，显著提高服务场景下的高可靠能力。

  • 新增RoaringBitmap扩展，原生支持Bitmap数据类型及相关函数。

  • 新增bit_construct和bit_match函数：针对圈人、归因等场景进行优化，支持更高效率的基于userid的聚合条件过滤。

  • 新增range_retention_count和range_retention_sum函数：针对留存场景优化多天范围查询。

  • 新增Resharding工具：内置Resharding函数，修改Shard数无需重新建表，简化调优过程。

  • 优化列存默认采用AliORC压缩格式，存储压缩比提高30%~50%。

外表查询功能

  • MaxCompute外部表查询性能提升（Beta）：全新外部表加速引擎，相比之前版本，查询性能约有 30% ~ 100%的提升。

  • 新增集成DLF（Beta）：通过DLF读取OSS数据。

性能优化

  • 点查性能提升：行存总吞吐提升100%，列存总吞吐提升30%。

  • 更新操作优化：Update/Delete优化，性能提升30%。

  • Query Plan缓存：优化Query Plan Cache，降低优化器耗时。

/

企业级运维与安全优化

  • 慢查询透出，内置查询状态历史，可以查询一个月内所有查询的状态，快速定位慢查询，失败查询。

慢Query日志查看与分析

Hologres V0.9版本（2021年1月）

核心功能增强

核心功能说明

相关文档

引擎增强

  • 数据类型丰富。

    • JSON和JSONB类型。

    • 时间类型：interval、timetz、time

    • 网络类型：inet

    • 货币类型：money

    • PG系统类型：name、uuid、oid

    • 其他：bytea、bit、varbit

  • 函数类型丰富，包括兼容PG的函数和Hologres扩展函数。

    • 数组函数：新增array_length和array_positions。

    • 查看表和DB存储大小的函数：pg_relation_size和pg_database_size。

  • 支持通过Hologres SQL命令语句将Hologres数据导出至MaxCompute，实现数据归档。

  • 支持Hologres Binlog 订阅（Beta）。

  • 支持动态修改表bitmap索引和字典编码，支持根据数据特征自动创建字典编码。

  • 发布Hologres Client Library，适用于大批量离线、实时数据同步至Hologres以及高QPS的点查场景，实现自动攒批，提高吞吐。

  • 优化JDBC写入链路和查询优化器，显著提升引擎写入效率。

  • BI生态连通友好性提升，支持Tableau Server，Superset等更多BI工具，满足多种业务分析需求。

安全增强

  • 支持STS账号通过角色的方式登录Hologres，实现除云账号外等更安全更多元的账号登录体系。

RAM角色授权模式

2020年

Hologres V0.8版本（2020年10月）

核心功能增强

核心功能说明

相关文档

引擎增强

  • 支持通过CREATE VIEW语句创建视图。您可以基于一张表、多张表（包含内部表和外部表）或者其他视图创建视图。

  • 新增SERIAL、DATE、TIMESTAMP、VARCHAR(n)及CHAR(n)数据类型。同时，MaxCompute外部表数据支持Array类型映射。

  • 支持INSERT ON CONFLICT功能，您可以根据主键配置，在插入数据时更新或跳过重复数据。

  • 支持TRUNCATE功能。

  • 内置Proxima向量检索引擎，支持海量数据向量检索功能，该功能目前处于Beta版本。

安全增强

  • 新增数据脱敏功能。您可以配置多种脱敏策略，对电话、地址或身份证等私密信息进行脱敏。

  • 对接云监控，支持自定义指标监控和一键报警。

MaxCompute外部表查询约束与限制

  • 查询MaxCompute分区表时，扫描分区数的最大值为512个（0.8之前版本为50个）。

  • 每个查询中，最大的底层数据扫描量为200GB（与外部表的数量以及字段数无关，0.8之前版本为100GB）。

约束和限制

上一篇：动态与公告下一篇：函数功能发布记录