功能发布记录

核心功能增强

核心功能说明

相关文档

计算引擎增强与深度性能优化

• 核心执行引擎（QE v2）升级

  • 并发处理能力突破：针对 Worker 资源充足但 Shard 分布较少的场景，QE v2 引擎优化了内部并行机制，支持在不增加 Shuffle 开销的前提下提升 CPU 密集型算子（如 JOIN、AGG）的并行度，确保资源充分负载并显著降低查询延迟。

  • 自适应执行（Adaptive Execution）信息增强：执行计划现支持展示更为详尽的算子状态，包括过滤条件、连接条件、重分布列以及过滤列等详细信息。

• 智能化查询加速（HBO & Rewrite）

  • Dynamic Table 自动查询改写：优化器正式支持单表查询改写，能够自动将针对基础表的查询请求重定向至预计算的 Dynamic Table，实现毫秒级响应而无需用户修改 SQL 代码。

  • HBO（基于历史的优化）规则扩展：引入了自适应连接顺序（Adaptive Join Order）、自适应段聚合（Adaptive Segment Agg）以及自适应运行时过滤（Adaptive Runtime Filter）等多项规则。

  • 大查询强制调优机制：对于执行时间超过 20 秒且具备调优空间的查询，后续执行将强制命中 HBO 计划，并在执行计划中明确标识命中状态。

• 高级算子与实时分析优化

  • 极速 UV 计算能力增强：支持 User Id Encoding 函数。通过将高基数字符串映射为整型 ID，配合 Dynamic Table 的增量计算，实现超大规模实时 UV 的低成本极速计算。

  • Window TopN 流式执行优化：窗口 TopN 在 Hash Partition 场景下由全量排序改为流式排序，通过分区内攒批处理显著降低了内存峰值压力。

  • Scan 性能增强：允许 Scan 过程中的 TopN Filter 走 Result Cache，有效减少底层扫描开销。

  • 行存表 Hybrid DML 优化：行存表执行 INSERT 时引入采样机制以动态决定 Join 策略，大幅提升了向小表导入海量数据时的性能。

• Dynamic Table查询改写

• 增量刷新函数支持记录

• Hologres Dynamic Table任意长周期UV计算方案

• 优化查询性能

湖仓一体（Lakehouse）深度集成

• EXTERNAL_FILES 免外表分析函数

  • 即席查询链路简化：新增 EXTERNAL_FILES 函数，支持在不创建外部表的情况下通过标准 SQL 直接分析 OSS 上的 Parquet 或 ORC 格式文件。

  • 数据回流能力：支持利用该函数将内部表数据直接写出至 OSS，优化了冷数据归档与跨平台数据交换流程。

• MaxCompute 直读能力增强

  • 精细化裁剪支持：直读逻辑分区表时，新增支持分区裁剪（Partition Pruning）与聚簇键裁剪（Clustering Key Pruning），大幅缩减 I/O 扫描量。

  • 原生类型兼容：正式支持直读 MaxCompute JSON 数据类型，提升了半结构化数据的处理效率。

• 支持近实时导入

  • 支持近实时导入：基于临时存储Stage，支持近实时导入能力，相较现有实时写入链路、离线批量写入链路，可有效平衡写入性能、资源开销以及数据可见性。

• 文件读取函数（EXTERNAL_FILES）

• 基于Common Table链路访问MaxCompute

多模态检索分析

• 全文检索能力增强

  • 分词器能力增强：支持IK、Ngram、拼音分词器，更高效支持中文描述类文本检索、日志类文本模糊检索、中文商品/人名拼音检索等检索场景。

• 向量检索能力增强

  • 向量索引资源优化：HGraph内存索引支持压缩，可在仅牺牲5%的性能的前提下，节省50%内存。

  • 向量索引性能优化：HGraph支持在索引文件中附加列信息，检索时可直接通过索引获取对应列值，无需查询目标表对应列，提升向量检索性能。

• 全文倒排索引

• HGraph索引使用指南（推荐）

企业级运维管理与系统稳定性

• 架构级负载隔离

  • 查询线程池独立化隔离：为了防止查询负载、实时写入以及存储引擎控制链路等逻辑互相干扰，系统将查询执行逻辑剥离至独立的线程池中运行，确保了高并发场景下系统控制面的响应稳定性。

• Serverless能力增强

  • 自适应Serverless增强：支持自动负载隔离，负载高时自动切流至Serverless Computing资源池，显著提升系统吞吐能力与稳定性。

• 资源管理与稳定性增强

  • SQL 方式动态切换计算组：支持通过标准 SQL 指令切换连接的计算组（Warehouse），强化了多租户隔离与灵活运维手段。

  • 表结构变更（Rebuild）能力增强：优化了元数据与数据迁移流程，将表结构变更过程中的写入受影响时长缩短至 10 秒以内，执行期间表可以正常查询。

  • 等锁超时控制：引入 hg_experimental_lock_wait_timeout_ms 参数，支持用户自定义非 FixedQE 写入链路的等锁超时时间。

  • 内存管理精细化：

    • 全文索引由常驻内存优化为走 Block Cache 加载，有效释放内存空间。

    • 优化攒批算法并支持流式 ConcatRecordBatch，部分缓解了 Arrow 结构超过 2GB 导致的报错问题，降低了内存峰值压力。

• 自适应Serverless计算

• 使用SQL切换当前连接计算组

• REBUILD

核心功能增强

核心功能说明

相关文档

AI&检索能力增强

• （Beta）借助大语言模型（LLM），通过AI Function对文本和图像等非结构化数据进行分析和检索。所有模型均完全托管于Hologres的AI节点中，可确保性能、可扩展性和治理，同时保障数据安全和合规。AI Function支持以下场景：

  • 使用Embedding模型结合Object Table，实现对文本、图像等非结构化数据的向量检索以及全文检索。

  • 汇总文本、图像信息的关键洞察。

  • 通过自然语言对文本进行筛选和分类，以及多语言内容进行翻译与本地化处理。

  • 开展情感分析与基于维度的分析，助力服务优化。

  • 解析文档，为数据分析和检索增强生成（RAG）流程提供支持。

• （Beta）提供全新的HGraph向量检索技术实现性能提升10倍以上，并支持标量和向量的混合检索，适用于图像和视频检索、行为推荐、安全和欺诈检测等业务场景。同时支持内存和落盘的混合索引，可以将内存占用减少80%，QPS影响仅5%（在标准的VectorDB Benchmark上），并为自动驾驶等大数据量和高性能向量检索的场景提供了一种具有高性价比的解决方案。

• （Beta）新增全文倒排索引和内置分词器实现全文搜索，支持以下场景：

  • 支持关键词检索、短语检索、自然语言检索等检索方式。

  • 支持计算BM25分数，用于文本相似度的召回。

  • 支持和向量检索结合，用于全文+向量的混合检索场景。

  • 支持全文+标量的混合检索场景。

• （Beta）新增全局二级检索功能，支持非主键列上进行高效Key-Value点查的场景，支撑Feature Store，电商平台等需要高效非主键点查的场景。

• AI Function

• 全文倒排索引

• 全局二级索引

引擎增强

• 支持TopN Runtime Filter，用于加速TopN场景的数据查询。

• （Beta）支持内部表的Time Travel，允许查询在定义时间段内的任何时间点访问历史数据。

• （Beta）支持HBO（基于历史查询的查询优化），系统将收集慢查询的执行详情，自动分析查询计划中是否存在需要调优的地方，并根据这些历史智能的调整查询计划。

/

Dynamic Table

（Beta）支持External Dynamic Table全量/增量将加工后的数据回写至Paimon，开启湖上数据近实时加工新时代。至此，Dynamic Table支持仓到仓、湖到仓、仓到湖以及湖到湖的近实时数据加工。特别是结合Serverless型实例，可以实现超低成本的湖上数据加工。

• Dynamic Table

• Serverless型实例

语法增强

支持QUALIFY子句允许过滤窗口函数的结果。

QUALIFY（Beta）

函数与生态扩展

ClickHouse生态兼容性增强：支持toDayOfMonth、toDayOfYear和toHour等多个时间截取函数，相比原extract(field from timestamp)函数性能可提升50%。

日期和时间函数

Serverless&弹性

• （Beta）计算组实例支持 Multi-Cluster 弹性扩展能力，计算组由一个或者多个Cluster组成，可根据计算组的负载自动进行横向扩缩容（Scale out），满足计算组组内部的资源隔离和高并发场景需求。

• （Beta）计算组实例实现极致写与写隔离，支持使用实例中的任意计算组执行数据的批量写入任务，批量写入不再全部依赖Leader计算组，也无需加载Table Group。

• （Beta）计算组实例热升级能力增强，支持升级时SQL无损、连接闪断。

• 支持通过SQL方式切换当前连接的计算组。

• Serverless Computing支持读写DLF外表。

• Multi-cluster与自动弹性（Beta）

• 计算组管理

• 计算组实例架构

• 计算组用户使用授权

• 使用SQL切换当前连接计算组

• 基于DLF访问OSS数据湖加速

• 使用Serverless Computing执行读写任务

数据湖分析

（Beta）支持MaxCompute数据镜像，支持MaxCompute数据Zero ETL到镜像内部表的预热，极大提升查询效率。在配置数据镜像后，查询MaxCompute表的性能和查询Hologres内部表相同，用户无需配置专门的数据同步任务来将数据从MaxCompute同步到Hologres。

/

核心功能增强

核心功能说明

相关文档

引擎增强

• 支持CTE表达式自适应Reuse/Inlining。

• BETWEEN表达式计算优化。

CTE Reuse策略优化

Dynamic Table

• 增量场景拓展，支持ARRAY_AGG和STRING_AGG等函数使用增量刷新模式。

• DataWorks数据地图支持Dynamic Table血缘分析。

• ARRAY_AGG

• STRING_AGG

Serving能力增强

Fixed Plan支持简单表达式，支持更多场景的高QPS的KV点查和写入。

Fixed Plan加速SQL执行

函数与生态扩展

支持Lambda表达式，支持含Lambda表达式的高阶数组函数。

LAMBDA表达式及相关函数

Serverless能力

• Serverless Computing功能场景拓展，支持读写加密表，含内部表加密表和MaxCompute外部表加密表。

• 查询队列能力拓展，支持按表对SQL分类，将某张表的请求自动路由至Serverless Computing中执行。

• Serverless Computing使用指南

• 查询队列Query Queue

数据湖分析能力

• 支持Paimon湖表数据镜像，加速湖上数据查询。

• 对接DLF 2.5元数据管理系统，支持使用DLF提供的REST接口对接湖上Paimon Catalog。

• 支持Paimon数据湖数据镜像，支持湖上数据的Zero ETL到镜像内部表的预热，极大提升查询效率。

• 提供针对Paimon的Time Travel查询功能，可通过指定Timestamp、Tag的方式读取历史数据。

• 支持读取Paimon表的Branch数据，支持读取指定Branch功能，并支持Fallback行为读取数据。

• 允许用户禁止分区表的全表扫描，防止因为全表扫描导致占用过多资源的问题。

• 性能提升，在TPC-H 1 TB on Paimon的查询性能提升一倍。

• 湖表镜像

• 基于DLF Catalog访问Paimon数据

生态能力增强

Binlog支持裁剪和压缩，减少消费Binlog时对于IO的占用。

/

核心功能增强

核心功能说明

相关文档

Hologres Serverless型实例（Beta）发布，开启免费邀测。

Hologres Serverless型实例是Hologres基于云原生的Serverless架构研发的新实例形态，您无需预购买独享计算资源，无持有成本，即可享受灵活弹性、简单易用的Hologres计算与存储服务。

您可使用阿里云账号（主账号）填写表单，申请试用。

Serverless型实例

核心功能增强

核心功能说明

相关文档

Dynamic Table

• 支持基于逻辑分区表的动态分区，大幅简化分区表的使用。

• 新增Auto Refresh模式，用户仅需指定数据新鲜度（Freshness），引擎自动优化刷新策略，提升数据刷新灵活性。

• 增量刷新支持双流JOIN场景，提升实时数据处理灵活性。

• 增量刷新支持RoaringBitmap函数，用于支持UV、PV等复杂场景增量计算。

• 全量刷新模式支持Adaptive Execution（Beta），引擎内部自适应，在兼具低延迟基础上，显著提升执行的稳定性（降低OOM概率）、易用性（例如动态推导计算资源、动态调整计划）。

• CREATE DYNAMIC TABLE

• 增量刷新

Serverless能力

• Serverless Computing功能场景扩展，支持Insert Overwrite、Resharding、CTAS等复杂DML场景，支持存储过程、Rebuild及加密表。

• 实现计算组无损扩缩容（Beta），保障计算组变配时的业务连续性。

• 支持自动限流能力（Beta），根据负载动态限制查询队列的并发数，显著提升集群稳定性。

• 新增自适应Serverless Computing路由能力，大查询自动使用Serverless资源执行。

• 支持设置Serverless Computing的每日可用资源量上限。

• 优化Serverless Computing在并发场景下对缓存的复用能力，提升并发场景下的查询性能。

• 支持RAM ROLE对计算组执行扩缩容。

• Serverless Computing使用指南

• Serverless Computing功能发布记录

• 计算组管理

• 分时弹性（Beta）

• 自动限流（Beta）

• 日累计用量限制

性能优化和查询能力增强

• 重构查询引擎，推出QEv2，并支持了compution on light-weight encoding，实测在TPC-H 1TB基准测试中性能提升33%。

• 引擎自适应优化，根据Cost model自动下推AGG Plan，降低参与JOIN的数据量，显著降低延迟和CPU开销。

• 自动推导JOIN字段的NOT NULL属性，并将NOT NULL条件下推，提前过滤NULL值，自动消除AGG的GROUP BY常量字段。

• 新增Query Cache功能，支持特定查询结果缓存加速。

• 增强hg_stats_missing视图的统计信息诊断能力，新增autovacuum_enabled（是否开启AUTO ANALYZE）、reason（统计信息缺失原因）等字段，便于诊断和补全统计信息。

• AUTO ANALYZE系统优化：统计信息收集增强，在表缺失统计信息时，自动获取表的行数，提升查询计划良率。增强统计信息的持久性和抗干扰性，减少不影响统计信息的Schema变更（如RENAME，转冷存等）带来的统计信息清空，降低系统负载，提升执行计划良率。

• 测试结果参考

• Query Cache

• HG_STATS_MISSING View

数据管理与写入优化

• 存储与索引优化

  • 新的逻辑分区表（Beta），提升分区表使用灵活性，同时元数据管理更轻量，数据管理更便捷。

  • 新增存储生成列（Stored Generated Columns）（Beta），简化数据加工，预计算加速查询。

  • 推出Rebuild工具（Beta），支持轻量级索引（Distribution Key、Clustering Key、Segment Key），及其他表结构修改。

• 写入能力增强

  • 主键表COPY支持局部列更新，降低FIXED COPY场景。使用Fixed FE后，可以不占用原有的FE的连接数。

  • 原生支持INSERT OVERWRITE语法，更灵活实现对普通表、逻辑分区表的INSERT OVERWRITE操作。

• 逻辑分区表（Beta）

• 生成列

• REBUILD

• COPY

• Hologres批量写入最佳实践

• INSERT OVERWRITE

函数与生态扩展

• 内置函数新增

  • 新增属性关联漏斗函数和维度分组漏斗函数。

  • Spark/Presto兼容函数扩展，提升跨引擎开发效率。

  • Roaring Bitmap函数（部分）支持64位，用户画像分析场景扩展。

• 远程函数支持

  • 支持通过函数计算Function Compute调用Remote UDF，灵活扩展ETL能力。

• 属性关联漏斗函数（finder_funnel）

• 维度分组漏斗函数（finder_group_funnel）

• Spark兼容函数

• Presto兼容函数

• 数据类型汇总

• RoaringBitmap函数

• 自定义函数UDF（Remote UDF）

企业级特性升级

• 强化企业级权限管理能力，支持在PostgreSQL协议的连接选项中指定Security Token，通过JDBC或PSQL，即可实现RAM角色登录。

• 支持表回收站能力，用于误删除表之后，在表回收站中恢复表及其数据。

• 数据脱敏功能增强，支持View结果脱敏、非TEXT字段类型脱敏，大幅增强敏感数据的保护，防止敏感数据被暴力破解。

• 表回收站

• 数据脱敏

数据湖分析能力

• 外部数据源支持

  • 增强External Database集成，主流BI工具（Quick BI/Tableau/Superset）无缝访问。

  • External Database支持指定元数据刷新间隔。

  • External Database支持ANALYZE、AUTO ANALYZE。

  • 支持通过INSERT INTO写入Paimon主键表，方便湖仓数据自由流转。

  • 支持通过INSERT INTO写入Iceberg表，兼容更多开放数据湖格式。

• MaxCompute透明加速

  • Hologres直读MaxCompute数据升级为2.0版本（Beta），基于MaxCompute C++ Native SDK重构了底层直读方式，进一步提升Hologres访问MaxCompute数据源的性能和体验。

  • 支持直读MaxCompute Delta Table（Beta）。

  • 支持以脱敏方式直读MaxCompute动态脱敏数据，提供一体化脱敏体验（Beta）。

  • 支持直读MaxCompute Schema Evolution表，支持的操作类型包括增加列、删除列、修改列类型、调整列顺序。

  • 支持基于DataWorks新版数据开发实现MaxCompute Project、Schema、表一键映射至Hologres。

  • 支持基于DataWorks新版数据开发实现MaxCompute表数据一键导入至Hologres。

• ANALYZE和AUTO ANALYZE

• MaxCompute加速

• Hologres访问MaxCompute Delta Table

• 映射MaxCompute元数据至Hologres外表

• 同步MaxCompute数据至Hologres内表

核心功能增强

核心功能说明

相关文档

引擎能力增强

• 重磅发布Dynamic Table，支持全量刷新和增量刷新两种模式，数据自动流转，自动刷新，解决实时数仓分层、流批一体等强需求，满足不同时效性数据分析需求。

• Serverless Computing能力升级，支持SELECT、COPY等场景。对于临时大查询，提供云原生的资源使用方案。

• 计算组支持分时弹性（Beta），支持计算资源按时弹性，满足不同时段的差异化资源需求，避免相互干扰，更大化提高资源使用率。

• 支持查询队列：

  • 根据业务需求创建查询队列，并设置队列的并发度和队列长度，提升实例稳定性。

  • 提升大查询治理能力，支持为队列设置大查询的超时时间，减少对实例的影响，并支持大查询使用Serverless Computing资源重跑大查询。

  • 支持使用Serverless Computing执行查询队列的全部查询。

• Fixed Plan写入、更新及点查性能优化，相较于V2.2版本整体提升约10%。

• 支持对分区父表执行INSERT OVERWRITE。

• 支持存储过程（Beta），定义常用SQL，简化业务复杂度。

• Schema Evolution能力增强，支持修改列的数据类型。

• Copy能力增强，导入有主键表时支持配置整行更新策略，而非主键冲突报错。

• 查询引擎能力增强，支持Cross Join提升在非等于条件下JOIN的查询性能。同时支持Partial Agg，在GROUP BY Key较多时，可以限制内存，降低OOM的概率。

• 存储引擎能力增强，提升了当Segment Key设置了非顺序写入列时，列存表的更新性能。

• 函数能力增强：

  • TRY_CAST函数增强，目标数据类型支持DATE、TIMESTAMP、TIMESTAMPTZ。

  • 支持在HQE上运行含DISTINCT、ORDER BY的ARRAY_AGG和STRING_AGG函数，提升查询性能。

• Serverless Computing使用指南

• 分时弹性（Beta）

• 使用Serverless Computing资源执行查询队列的查询

• 数据写入、更新、点查场景压测最佳实践

• INSERT OVERWRITE

• 存储过程

• ALTER TABLE

• COPY

• EXPLAIN和EXPLAIN ANALYZE

• OOM常见问题排查指南

• 类型转换函数

• 函数功能发布记录

运维&稳定性改善

• 联合SLS推出SQL审计，用于对数据库活动进行监控、记录和分析，以确保数据安全和遵从相关政策。

• 计算组扩容能力增强，支持扩容期间读写不中断。

• 支持将小于100ms的DML和查询以聚合方式记录在Query Log系统表中，提升SQL观测和分析能力。

• CloudLens for Hologres

• 计算组管理

• 分时弹性（Beta）

• 慢Query日志查看与分析

湖仓一体

• 新增External Database功能，支持DLF、MaxCompute等数据源的Catalog级别元数据映射，提升数据湖的元数据和数据管理能力。

• 支持对接Hive MetaStore映射元数据，透明加速EMR集群。

• 支持使用INSERT INTO方式写入Paimon Append Table。

• 支持读取Iceberg湖格式，进一步扩展数据湖生态。

• 安全能力增强，默认使用SLR透传身份访问DLF2.0，同时支持以RAMRole的方式访问DLF2.0。

• 表格能力增强。

  • 重构Delta Lake格式的Reader，读取性能大幅提升。

  • 支持Paimon Deletion Vector优化，提升存在大量数据删除，但是未及时Compaction时的查询性能。

• Hologres从V3.0.22版本开始支持访问MaxCompute Delta Table。

• 基于Hive Metastore访问OSS数据湖数据（Beta）

• Hologres访问MaxCompute Delta Table

核心功能增强

核心功能说明

相关文档

Hologres Serverless Computing功能完成Beta阶段

Hologres Serverless Computing功能完成Beta阶段，生产可用，并承诺SLA，于北京时间2024年07月01日正式商业化。

• 用量与计费

• Serverless Computing

• 实时数仓Hologres服务等级协议（SLA）

核心功能增强

核心功能说明

相关文档

引擎能力增强

• 引擎底层能力持续优化，整体性能相比之前版本提升约15%。专注于向量执行引擎（Hologres Query Engine，HQE）和优化器（Query Optimizer，QO）的持续演进，其中：

  • 向量执行引擎HQE能力优化，在如下场景中性能得到提升：

    • Runtime Filter能力增强，支持Shuffle Join场景，Runtime Filter场景的查询效率提升约30%。

    • 优化HQE的RPC连边机制，每个Worker内数据先合并再进行Worker间分发，显著降低网络开销，在带有Shuffle的场景上，查询性能提升8%。

  • 优化器QO性能优化，SQL在Plan阶段的处理速度提升40%：

    • 优化内存分配机制和Join算法，提升多Join场景的查询性能。

    • 优化DATE_PART函数行为，提升对带有时间属性的字段（如年份）的查询效率。

    • 优化DATE和TIMESTAMP类型字段的比较行为，提升时间字段的查询效率。

    • 优化复杂函数中带有Filter的运算行为，通过调整多个Filter的顺序，减少数据计算量，提升查询效率。

• 推出Serverless Computing，可以将指定的数据导入或ETL等长周期作业运行在共享的Serverless资源池中，减少实例内部的任务竞争和相互干扰，提升实例稳定性（仅部分Region支持）。

• 计算组（Virtual Warehouse）实例支持写入计算组的自动路由，无需手动指定计算组，系统自动路由，降低执行写入操作时计算组的使用难度。

• 动态分区Auto Partition支持自定义分区创建时间或删除时间，以及自定义冷存表搬迁时间，提升动态分区的易用性。

• 支持SQL Hint语法，通过Hint改变SQL的执行方式，从而实现对SQL进行细粒度的执行优化。

• hg_stat_activity功能优化，提供更精准的CPU、Memory指标，并支持查看MaxCompute数据导入Hologres的进度，显著提升活跃Query的可观测能力。

• 新增路径分析函数，可分析每个路径节点的节点流量、耗时情况，进一步帮助业务分析产品运营策略，优化产品设计思路。

• 函数能力增强：

  • 支持类型转换函数try_cast，自动将异常数据转换为NULL值而非报错，简化异常数据处理成本。

  • 支持时间和日期类新函数dateadd、datediff、last_day。

  • 支持在HQE上运行多种通用聚合函数，以提升查询性能。

• Serverless Computing使用指南

• 计算组数据访问授权

• 动态分区管理

• HINT

• 管理Query

• 路径分析函数

• 类型转换函数

• 函数功能发布记录

运维&稳定性改善

• 支持SQL指纹并上报慢Query日志，可通过对SQL指纹的聚类分析，提升问题定位和异常监控能力。

• 透出QE、FixedQE、Binlog等监控指标，提升业务的观测性和可运维能力。

• HoloWeb支持Query洞察，一键查询获取Query执行信息、表的元数据信息、锁排查等，进一步提升问题排查效率。

• 支持跨AZ容灾，提升实例的灾备能力（仅部分Region支持）。

• 计算组扩容后做Rebalance时，系统自动对查询（SELECT）类Query进行重试，降低业务影响，提升在线服务的稳定性。

• 优化引擎错误码和报错信息，提升慢Query日志分析效率。

  • 优化DDL duration计算逻辑，提升DDL操作执行时间的采集准确性。

  • 支持在慢查询日志中记录EXPLAIN ANALYZE结果，详细记录每个算子的运行时数据。

• 版本升级技术底层优化，使用新一代的Physical Restore技术，在元数据较多时大幅缩短升级耗时，降低升级对业务的影响。

• FE节点表锁机制升级为短锁，有效解决DDL卡住、以及FE节点元数据不一致出现异常报错等问题，提升FE节点元数据的稳定性和一致性。

• OpenAPI能力升级，新增计算组、数据湖加速、资源组等接口，提升实例运维管理能力。

• 慢Query日志查看与分析

• Query洞察

• 计算组管理

• Hologres SQL语句的常见问题

• API概览

生态拓展

• 外部表自动加载（Auto Load）功能支持MaxCompute三层模型，可使用hg_experimental_auto_load_foreign_schema_mapping参数指定Schema映射关系；支持MaxCompute外部表Schema Evolution，如增加列、删除列、修改列名及列顺序。

• 外部表自动加载（Auto Load）功能支持通过DLF元数据自动加载，加速查询存储于OSS上的表。

• 数据湖架构升级，ORC、Parquet格式外部表支持使用内置高速磁盘和内存实现多级缓存，并支持谓词下推过滤，大幅提升读取性能。

• 支持通过服务关联角色访问MaxCompute外部表，以更好地配置云服务所需权限，避免误操作带来的风险，可通过Hologres管理控制台一键授权服务关联角色。

• 支持通过HoloWeb可视化访问OSS数据和MaxCompute三层模型指定的Schema下的表。

• 外部表自动加载（Auto Load）

• Hologres服务关联角色

• 创建OSS外部表

• 创建MaxCompute外部表

核心功能增强

核心功能说明

相关文档

引擎能力增强

• 针对单条以及多条 COUNT DISTINCT 在运行时自动性能优化，显著提升 COUNT DISTINCT 场景的查询效率。

• 查询优化器新增Row Group Filter机制，针对列存表，同一列的多行数据组成Row Group，并且记录每个Row Group的max/min值，在查询过滤对应列时，可以在不读取数据的情况下对Row Group过滤，显著降低查询开销，提升查询性能。

• 优化Runtime Filter能力，支持多列Join场景，显著提升Join效率。

• 新增手动触发Full Compaction能力，合并小文件，提升查询效率。

• 新增区间漏斗分析函数，用于分析用户活动的转化情况和转化情况的对比。

• 新增Bit-Sliced Index（BSI）扩展库，优化高基数标签场景、用户属性标签与行为标签联合查询的性能与易用性。

• 聚簇索引Clustering Key支持设置降序排列，在排序场景下利用聚簇索引，提升查询性能。

• 优化低频访问存储的缓存机制，提升低频访问存储的查询性能。

• 新增CREATE TABLE WITH、ALTER TABLE SET语法，替代原有 set_table_property 语法，简化表属性设置过程。

• 优化无主键表写入能力，无主键表批量写入不产生表锁，改为行锁，可以与Fixed Plan同时进行。

• Proxima向量计算支持先建表并导入向量数据、再创建向量索引，缩短索引创建时间，简化向量计算使用。

• 函数能力增强：

  • 支持若干数组函数运行在HQE，提升函数性能。

  • 新增KeyValue函数，实现字符串的拆分。

  • 新增IF函数，简化类型检测场景，降低MySQL迁移成本。

• Count Distinct优化

• Runtime Filter

• Compaction（Beta）

• 漏斗函数

• BSI函数

• 画像分析 - BSI优化方案

• 聚簇索引Clustering Key

• 数据分层存储

• CREATE TABLE

• 锁以及排查锁

• Proxima向量计算

• 函数功能发布记录

• KeyValue函数

• IF

运维&稳定性改善

• 慢查询能力增强，提升用户分析慢查询的效率。

  • 支持在慢查询日志中记录EXPLAIN ANALYZE结果，详细记录每个算子的运行时数据。

  • Fixed Plan诊断能力增强，写入场景affected_rows数据上报元仓，查询场景result_rows、result_bytes数据上报元仓。

• 新增hg_relation_size函数，用于查询的表占用的存储明细。

• 兼容原生PostgreSQL行为，支持负载均衡，实现在主从架构场景下的负载均衡和故障自动转移，提升服务可用性。

• OpenAPI能力升级，新增创建实例、实例续费、实例变配、释放实例接口，提升实例运维管理能力。

• 慢Query日志查看与分析

• Fixed Plan加速SQL执行

• 表存储函数

• 基于JDBC的负载均衡

• API概览

生态拓展

数据湖加速支持Paimon格式存储。

基于DLF访问OSS数据湖加速

核心功能增强

核心功能说明

相关文档

发布计算组（Virtual Warehouse）实例。

支持单实例内部多种负载隔离，支持读写隔离，写与写隔离，读与读隔离，支持弹性热扩缩，支持流量灵活切换，提供多场景、多团队灵活的数据共享与计算资源隔离需求，满足企业级关键业务的隔离需求。

• 计算组实例架构

核心功能增强

核心功能说明

相关文档

引擎能力增强

• 新增Runtime Filter，优化join过程中的过滤行为，减少数据扫描量，降低IO开销，典型多表关联场景中，有20%以上性能提升。

• 查询引擎新增Lazy Create Fragment Instance机制，对于大表查询（常见预览场景）limit N场景，降低查询开销，显著改善查询性能。

• 全面优化执行计划展示格式（Explain & Explain Analyze），改善可阅读性，简化SQL性能优化手段。

• 优化分布式事务能力，新增支持多条DML混合事务场景。

• 支持Drop Column。

• 支持CREATE TABLE AS语法，简化表结构迭代优化场景。

• 支持流式COPY，无需攒批，写入吞吐更高。

• 支持在JSONB列式存储优化中设置Bitmap索引，加速等值过滤场景。

• 支持将DATE类型设为主键及分区表分区键，优化分区剪裁，当分区字段IN Array的长度超过阈值（默认100）同样支持分区裁剪。

• 更多引擎内部优化：

  • 存储引擎优化Tablet Lazy Open机制（主从实例均支持）：超过24小时无访问的表自动关闭内存开销，当打开表的数据量超过阈值时基于LRU策略动态选取对应Tablet进行关闭，降低表多场景下的常驻内存开销。

  • 存储引擎优化Schema存储管理机制，统一通过Meta Tablet存储管理，降低表多、Shard多场景下Schema常驻内存开销，降低资源开销。

  • 存储引擎优化快速恢复能力，支持在部分表常规恢复有问题时以修复模式启动快速恢复。元数据管理默认支持逻辑恢复能力，在分区数多的场景下有效缩短恢复时间，在数万分区场景下，有5倍以上的提速恢复效果。

• 函数能力增强：

  • 支持更多函数运行在HQE，提升函数性能。

    • 重构Table Function函数支持框架，支持generate_series（INT、BIGINT、NUMERIC）运行在HQE。

    • 重构PQE函数支持框架，支持left、right、text::timestamp、timestamp::text运行在HQE。

  • 新增数组函数，支持array_max、array_min、array_contains、array_except、array_distinct、array_union函数。

  • 新增聚合函数max_by与min_by，简化窗口类排序操作。

• Runtime Filter

• EXPLAIN和EXPLAIN ANALYZE

• SQL事务能力

• 删除列（Beta）

• CREATE TABLE AS

• COPY

• 列式JSONB

• CREATE PARTITION TABLE

• 函数功能发布记录

• 数组（ARRAY）函数

• MAX_BY

• MIN_BY

运维&稳定性改善

• 在pg_stat_activity基础上，推出hg_stat_activity，兼容原有用法，同时极大丰富运行时诊断信息，增加执行阶段，执行引擎类别，资源使用，运行时锁等信息。

• 完善Shard级Replica能力完成，支持单实例内高可用及负载均衡扩吞吐场景，可容忍部分机器故障及热点不均衡问题。

• 重构Auto Analyze能力，采用分布式Auto Analyze，支持外表Auto Analyze，支持湖仓加速集群Auto Analyze，支持分区表增量Auto Analyze，解决超大表，超宽列Analyze失败等问题，显著减少表缺少统计信息场景，执行计划更稳定，性能消耗更低，更稳定。

• 优化存储加密配置，支持灵活的单表加密配置。

• 优化数据血缘机制，支持在DataWorks中对MaxCompute和Hologres跨引擎血缘分析，支持CTE等表达式的血缘解析。

• 新增管控OpenAPI，灵活控制实例生命周期。

• 查询hg_stat_activity视图信息

• 单实例Shard级多副本

• 表级别存储加密设置

• 数据血缘

• API概览

生态拓展

• 升级针对MaxCompute外表的查询加速引擎，改善兼容性与稳定性。

• 湖仓加速场景中，在集成数据湖DLF元数据管理下，支持使用DLF数据目录（Multi-Catalog）做元数据隔离，方便在测试环境、开发环境、跨部门集群之间做元数据隔离。

• 湖仓加速场景中，支持加速存储于OSS-HDFS（又名JindoFS）上的数据，可以更好地满足大数据Hadoop生态和AI等领域的数据湖计算场景。

• 新增ClickHouse兼容函数，简化数据和作业迁移场景。

• 基于DLF访问OSS数据湖加速

• 基于DLF访问OSS-HDFS数据湖数据

• 从ClickHouse导入

核心功能增强

核心功能说明

相关文档

引擎能力增强

• 支持实时物化视图，提升实时聚合场景查询效率（Beta）。

• JSONB存储优化，通过采用列式存储优化，显著提高查询统计的效率，提高数据压缩效率。

• 支持分区表动态分区管理，支持自动创建与删除分区子表。

• 新增UNIQ精确去重函数，显著提高去重计算效率，优化多Count Distinct场景，节省内存消耗。

• 引擎优化。

  • 支持符合FixedPlan情况的Insert语句直接写入分区表父表。

  • 支持聚合表达式过滤能力，支持string_agg()和array_agg() 过滤。

  • 支持RowType，支持row()、row_to_json()等函数。

  • 支持修改表所在的Schema。

  • 支持CTE Reuse算子，提升with表达式运算效率。

• 支持读取MaxCompute三层模型（project.schema.table)。

• 支持读写MaxCompute Transactional类型表，支持读取MaxCompute Schema Evolution状态表（在MaxCompute侧执行过删除列、修改列顺序，修改列类型操作的表），支持Array、Date类型回写 。

• SQL管理物化视图

• JSON和JSONB类型

• CREATE PARTITION TABLE

• 优化查询性能

• INSERT

• Fixed Plan加速SQL执行

• 字符串函数

• JSON函数

• ALTER TABLE

• CREATE FOREIGN TABLE

• IMPORT FOREIGN SCHEMA

• 基于Foreign Table加速查询MaxCompute数据

• 导出至MaxCompute

运维能力和稳定性改善

• 支持自助配置共享存储从实例，优化弹性和高可用 。

• 新增元仓表table_info，提升数据治理能力。

• 持续内存优化，减小元数据内存占用。

• 支持自动周期备份和手动备份，以便在某些场景下，例如数据误操作时，恢复历史数据。

• 多实例读写分离高可用部署（共享存储）

• 表统计信息查看与分析

• 本地备份与恢复

• 恢复

生态拓展

• 生产级支持PostGIS扩展能力 。

• 支持Oracle扩展包，新增众多兼容函数。

• 支持通过DLF读取Hudi、Delta格式外部表，支持通过DLF写入CSV、Parquet、SequenceFile、ORC格式数据至OSS外部表。

• 改善BI兼容性，在Tableau兼容性测试中（TDVT）通过率提升至99%+。

• PostGIS空间函数

• Oracle兼容函数

• 基于DLF访问OSS数据湖加速

核心功能增强

核心功能说明

相关文档

运维能力改善

• 新增资源组隔离能力（Beta），通过设计多个资源组，实现实例内部不同用户的计算资源线程级负载隔离，可以更好地支撑多用户、多场景的使用方式。

• 支持Hologres实例在线热升级，升级期间，读（查询）数据不受影响，升级版本时可以加入实时数仓Hologres交流群申请使用热升级。

• 单实例计算资源隔离（Beta）

• 加群方式请参见如何获取更多的在线支持

引擎能力增强

• 支持将表设计为行列共存结构，一份数据同时支持点查、OLAP多种查询场景。

• 支持JDBC实时消费Hologres Binlog（Beta）。

• 支持Hologres Binlog按需启用，配置动态修改。

• 支持重命名列名称。

• 新增JSONB索引（Beta），加速JSON类型数据的查询检索。

• 优化内存中元数据管理机制，增加元数据缓存与压缩，更有效率的管理内存。

• CREATE TABLE

• 通过JDBC消费Hologres Binlog

• 订阅Hologres Binlog

• ALTER TABLE

• JSON和JSONB类型

外表能力优化

• 支持通过DLF读取 CSV、Parquet、SequenceFile、ORC格式的OSS数据。

• 支持Hologres跨库查询，支持Hologres多实例联邦查询。

• 基于DLF访问OSS数据湖加速

• 跨库查询（Beta）

安全增强

• 支持Hologres内部表数据存储加密（Beta），提升数据访问安全能力。

• 支持读MaxCompute加密数据（Beta），丰富Hologres兼容MaxCompute生态。

• 数据存储加密

• 查询MaxCompute加密数据

核心功能增强

核心功能说明

相关文档

引擎增强

• 支持自动采集表的统计信息：数据写入更新时自动采样表的统计信息，以便生成更优的Query Plan，不再需要手工执行Analyze Table。

• 支持点查（Key/Value）场景的毫秒级高可靠（Beta）：支持Shard级别多副本配置，支持毫秒级主副本切换和查询重试，显著提高服务场景下的高可靠能力。

• 新增RoaringBitmap扩展，原生支持Bitmap数据类型及相关函数。

• 新增bit_construct和bit_match函数：针对圈人、归因等场景进行优化，支持更高效率的基于userid的聚合条件过滤。

• 新增range_retention_count和range_retention_sum函数：针对留存场景优化多天范围查询。

• 新增Resharding工具：内置Resharding函数，修改Shard数无需重新建表，简化调优过程。

• 优化列存默认采用AliORC压缩格式，存储压缩比提高30%~50%。

• ANALYZE和AUTO ANALYZE

• 单实例Shard多副本高吞吐（Beta）

• RoaringBitmap函数

• 明细圈人函数

• 漏斗函数

• Table Group与Shard Count操作指南

• 更改列存表的数据存储格式

外表查询功能

• MaxCompute外部表查询性能提升（Beta）：全新外部表加速引擎，相比之前版本，查询性能约有 30% ~ 100%的提升。

• 新增集成DLF（Beta）：通过DLF读取OSS数据。

• 优化MaxCompute外部表的查询性能

• 基于DLF访问OSS数据湖加速

性能优化

• 点查性能提升：行存总吞吐提升100%，列存总吞吐提升30%。

• 更新操作优化：Update/Delete优化，性能提升30%。

• Query Plan缓存：优化Query Plan Cache，降低优化器耗时。

/

企业级运维与安全优化

• 慢查询透出，内置查询状态历史，可以查询一个月内所有查询的状态，快速定位慢查询，失败查询。

慢Query日志查看与分析

核心功能增强

核心功能说明

相关文档

引擎增强

• 数据类型丰富。

  • JSON和JSONB类型。

  • 时间类型：interval、timetz、time

  • 网络类型：inet

  • 货币类型：money

  • PG系统类型：name、uuid、oid

  • 其他：bytea、bit、varbit

• 函数类型丰富，包括兼容PG的函数和Hologres扩展函数。

  • 数组函数：新增array_length和array_positions。

  • 查看表和DB存储大小的函数：pg_relation_size和pg_database_size。

• 支持通过Hologres SQL命令语句将Hologres数据导出至MaxCompute，实现数据归档。

• 支持Hologres Binlog 订阅（Beta）。

• 支持动态修改表bitmap索引和字典编码，支持根据数据特征自动创建字典编码。

• 发布Hologres Client Library，适用于大批量离线、实时数据同步至Hologres以及高QPS的点查场景，实现自动攒批，提高吞吐。

• 优化JDBC写入链路和查询优化器，显著提升引擎写入效率。

• BI生态连通友好性提升，支持Tableau Server，Superset等更多BI工具，满足多种业务分析需求。

• JSON和JSONB类型

• 数据类型汇总

• 数组（ARRAY）函数

• 表存储函数

• 导出至MaxCompute

• 订阅Hologres Binlog

• ALTER TABLE

• Holo Client

安全增强

• 支持STS账号通过角色的方式登录Hologres，实现除云账号外等更安全更多元的账号登录体系。

RAM角色授权模式

核心功能增强

核心功能说明

相关文档

引擎增强

• 支持通过CREATE VIEW语句创建视图。您可以基于一张表、多张表（包含内部表和外部表）或者其他视图创建视图。

• 新增SERIAL、DATE、TIMESTAMP、VARCHAR(n)及CHAR(n)数据类型。同时，MaxCompute外部表数据支持Array类型映射。

• 支持INSERT ON CONFLICT功能，您可以根据主键配置，在插入数据时更新或跳过重复数据。

• 支持TRUNCATE功能。

• 内置Proxima向量检索引擎，支持海量数据向量检索功能，该功能目前处于Beta版本。

• VIEW

• 数据类型汇总

• INSERT ON CONFLICT(UPSERT)

• Proxima向量计算

安全增强

• 新增数据脱敏功能。您可以配置多种脱敏策略，对电话、地址或身份证等私密信息进行脱敏。

• 对接云监控，支持自定义指标监控和一键报警。

• 数据脱敏

• 云监控

MaxCompute外部表查询约束与限制

• 查询MaxCompute分区表时，扫描分区数的最大值为512个（0.8之前版本为50个）。

• 每个查询中，最大的底层数据扫描量为200GB（与外部表的数量以及字段数无关，0.8之前版本为100GB）。

约束和限制