阿里云E-MapReduce(简称EMR)支持Spark、Trino计算引擎直接访问Hologres和MaxCompute表,为您提供了更加完善的湖仓一体化的解决方案,以及更加高效、稳定的数据分析体验。

背景信息

Hologres是阿里巴巴自主研发的一站式实时数仓引擎,支持海量数据实时写入、实时更新、实时加工、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),提供企业级离在线一体化全栈数仓解决方案。

MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效地分析处理海量数据。

湖仓一体
随着EMR支持Hologres和MaxCompute数据源,您可以:
  • 高效访问在线数据: 直接使用在线数据进行大数据分析,无需导出Hologres和MaxCompute中的数据至OSS等中心化存储,从而避免了导出数据可能引起的数据丢失和安全问题,同时还提高了数据处理和分析的速度,使您可以更加灵活地利用自己的数据,并快速响应业务需求。
  • 降低数据处理成本:由于无需进行数据ETL的操作,以及额外的数据存储和管理,降低了数据分析的整体成本。

使用限制

适用于EMR-3.45.1及之后版本、EMR-5.11.1及之后版本。

Spark配置Hologres数据源

详细信息,请参见Spark对接Hologres