本文为您介绍什么是实时数仓Hologres以及Hologres的功能。

随着收集数据的方式不断丰富,企业信息化程度越来越高,企业掌握的数据量呈TB、PB或EB级别增长。同时数据中台的快速推进,使数据应用主要为数据支撑、用户画像、实时圈人及广告精准投放等核心业务服务。高可靠和低延时的数据服务成为企业数字化转型的关键。

Hologres是阿里巴巴自主研发的一站式实时数仓引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供企业级离在线一体化全栈数仓解决方案。

Hologres致力于可扩展、高性能、低成本的计算引擎能力,为您提供海量数据的实时数据仓库解决方案和亚秒级交互式查询服务。

功能概述

  • 多场景查询分析
    Hologres支持行存、列存等存储模式和多种索引类型,同时满足简单查询、复杂查询、即席查询等多样化的分析查询需求。Hologres使用大规模并行处理架构,分布式处理SQL,提高资源利用率,实现海量数据极速分析。
    • 亚秒级交互式分析

      Hologres采用可扩展的大规模并行处理(MPP)架构全并行计算、向量化算子发挥CPU极致算力、ORC格式列存优化索引、SSD存储优化IO吞吐,支持PB级数据亚秒级交互式分析体验。

    • 高性能主键点查

      基于行存表的主键索引和查询引擎的短路径优化,Hologres支持每秒数十万QPS高性能服务型点查、支持高吞吐更新,相比开源系统性能提升10倍以上,可用于实时加工链路的维表关联、ID-Mapping等场景。

    • 联邦查询,外表加速

      Hologres无缝对接MaxCompute,支持外部表透明加速查询,相比原生MaxCompute访问加速5-10倍,支持冷热数据关联分析,同时支持MaxCompute与Hologres之间百万行每秒高速同步,支持OSS外部表读写,简化数据入湖入仓。

  • 原生实时数仓
    针对实时数仓数据更新频繁、数据模型简单和分析场景敏捷的特性,Hologres支持高并发实时写入与更新,支持事务隔离与原子性,数据写入即可查。
    • 高吞吐实时写入与更新

      Hologres与Flink、Spark等计算框架原生集成,通过内置Connector,支持高通量数据实时写入与更新,支持源表、结果表、维度表多种场景,支持多流合并等复杂操作。

    • 所见即所得的开发

      数据实时写入即可查询,支持DB、Schema、Table三级体系,支持视图View,原生支持Update/Delete,支持关联、嵌套、窗口等丰富表达能力,支持半结构化JSON数据。

    • 全链路事件驱动

      支持表更新事件的Binlog透出能力,通过Flink消费Hologres Binlog,实现数仓层次间全链路实时开发,满足分层治理的前提下,缩短数据加工端到端延迟。

  • 企业级运维能力
    支持计算负载、访问权限等细粒度管控要求,提供丰富的监控和告警指标,支持计算资源弹性扩展,支持系统热升级,满足企业级安全可靠的运维需求。
    • 数据安全

      支持细粒度访问控制策略,支持BYOK数据存储加密和数据脱敏,支持数据保护伞、IP白名单,支持RAM、STS及独立账号等多种认证体系,通过PCI-DSS安全认证。

    • 负载隔离

      支持基于资源组的负载隔离,隔离不同业务需求,不同查询类型,写入和读取等资源竞争场景,保障系统的持续稳定。

    • 高可靠设计

      多个计算实例组成高可靠部署模式,实例间共享存储,支持故障隔离和在线服务高可用,支持故障节点快速自动恢复。无需本地盘,盘古三副本高可靠冗余存储。

  • 生态与可扩展性
    兼容PostgreSQL生态,与大数据计算引擎及大数据智能研发平台DataWorks无缝打通。无需额外学习,即可上手开发。
    • 兼容PostgreSQL生态

      Hologres兼容PostgreSQL生态,提供JDBC/ODBC接口,轻松对接第三方ETL和BI工具,包括QuickBI、DataV、Tableau、帆软等。支持GIS空间数据分析。

    • DataWorks开发集成

      Hologres与DataWorks深度集成,提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具,支持数据资产、数据血缘、数据实时同步、数据服务等企业级能力。

    • 达摩院Proxima向量检索

      Hologres与机器学习平台PAI紧密结合,内置达摩院Proxima向量检索插件,支持在线实时特征存储、实时召回、向量检索。