PolarDB HTAP实时数据分析技术解密
MySQL+专用AP数据库的搭积木方案 专用分析型数据库产品众多，一个可选方案为：使用两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据实时同步。用户甚至可以增加一层proxy，自动将TP型负载路由至MySQL数据库，...
EMR包年包月优惠活动到期公告
2023年4月1日至2024年3月31日期间，为进一步帮助EMR老用户平滑过渡到EMR新平台，EMR老用户 新购*和 续费 数据湖（DataLake）、数据分析（OLAP）、实时数据流（DataFlow）、数据服务（DataServing）、自定义集群（Custom）等新集群类型，EMR...
管理尽力交付
前提条件 已创建数据湖（DataLake）、数据分析（OLAP）、实时数据流（DataFlow）、数据服务（DataServing）、机器学习（Data Science）或自定义集群（Custom），详情请参见 创建集群。使用限制 手动扩容场景：仅按量付费类型的节点组，支持...
测试结果参考
OLAP场景 查询执行时间以秒（s）为单位，结果均基于Hologres内部表，具体数值如下所示。TPCH Query编号 Hologres 64CU V0.10.20 Hologres 64CU V1.3.45 Hologres 64CU V2.0.2 Hologres 128CU V0.10.20 Hologres 128CU V1.3.45 Hologres 128...
流式数据湖仓Paimon
支持分钟级到秒级数据新鲜度的批查询和OLAP查询。支持消费与产生增量数据，可作为传统的离线数仓和新型的流式数仓的各级存储。支持预聚合数据，降低存储成本与下游计算压力。支持回溯历史版本的数据。支持高效的数据过滤。支持表结构变更。...
Multi-Master关键技术介绍
由于跨节点消息交互成本较高，考虑到OLAP用户的特点和需求，AnalyticDB PostgreSQL版 配合协议提供了不同的一致性选项，从而让您可以在性能和一致性上进行权衡和选择。会话一致：同一个会话满足可预期的一致性要求，包括单调读，单调写，读...
关键缺陷通知
建议加入实时数仓Hologres交流群联系对应技术支持协助您将产品升级到最新版本，详情请参见 如何获取更多的在线支持？背景信息 缺陷及修复说明 缺陷内容向下穿透：当前版本存在的缺陷，在之前的版本中均存在。例如，1.3版本中存在某缺陷，在...
新功能发布记录
配置Lindorm Spark节点 04月 功能名称 变更类型 功能描述 相关文档 逻辑数仓 新增 打通不同引擎，不同实例，跨区域，跨存储的OLAP、OLTP之间的壁垒，基于统一的SQL语法为用户提供跨库数据查询和数据同步的能力。重点解决企业运营人员、数仓...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，实现增量数据的实时同步。前提条件 已创建 PolarDB-X 1.0，如未创建请参见 创建实例 和 创建数据库。说明...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB-X 2.0 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB MySQL版 集群同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB MySQL版 集群，...
PolarDB处理TPC-H查询的挑战和机遇
背景信息 TPC-H是世界上最为流行的OLAP workload的benchmark程序，只要是和查询处理过程相关的任务，大多会使用TPC-H作为评估工具。如果您从事查询优化和执行的工作，即使是使用OLTP（在线交易）型的数据库系统，也会和TPC-H打上交道。TPC-...
RDS MySQL同步至AnalyticDB MySQL 3.0
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 RDS MySQL 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
自建Oracle同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启...
PolarDB PostgreSQL版（兼容Oracle）集群同步至...
为实时保持数据一致性，建议选择结构同步、全量数据同步和增量数据同步。为保障同步任务的正常进行，避免主备切换导致的逻辑订阅中断，需要 PolarDB PostgreSQL版（兼容Oracle）支持并开启Logical Replication Slot Failover。设置方式，请...
自建Oracle同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启...
数据导入常见问题
MySQL实时同步至StarRocks 执行Flink job，报错“Could not execute SQL statement.Reason:org.apache.flink.table.api.ValidationException:One or more required options are missing”，该如何解决？Flink如何自动重启失败的Task？如何...
Table Group设置最佳实践
常见问题 我有512Core规格实例，主要针对一张实时事件表进行OLAP分析，表规模约200～400亿，该怎么设计Table Group和Shard Count？计算负载比较单一，可以使用一个Table Group。512的默认Shard数为160，如果事件表列比较多，例如达到数百列...
金融大数据
业务架构 架构说明：基于阿里云大数据平台强大的计算能力（离线数据处理、交互式OLAP分析能力、实时流处理）以及分布式可视化算法平台PAI，有机集成了批量和实时多模式计算能力，支持实时信用评分和风险预警。实时决策引擎，通过DTBoost...
创建实例
实例类型 描述 存算一体版 适用于对查询性能要求极高的场景，例如OLAP多维分析、高并发查询和实时数据分析等。该实例类型将数据存储于云盘或本地盘，以确保较高的数据读写效率。数据湖分析版 兼容Trino（原名Presto），适用于数据湖或数据...
快速使用存算分离版实例
存算分离版实例适用于对存储成本敏感，同时对查询效率要求略低的业务场景，例如OLAP多维分析、实时数据分析以及数据仓库场景。该实例类型采用存算分离架构，将数据存储在阿里云OSS对象存储中。本文为您介绍如何通过阿里云账号创建并快速...
验证分析型查询请求能力
概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行...
支持的云服务
实时数仓Hologres Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），...
DATASOURCE:EMR:Cluster2
OLAP：数据分析。DATAFLOW：实时数据流。DATASERVING：数据服务。ClusterIds List 否 是 集群ID列表。无 Tags List 否 是 标签。最多添加5个自定义标签。更多信息，请参见 Tags属性。ClusterStates List 否 是 集群类型。取值：DATALAKE：...
ClusterSummary
OLAP：数据分析。DATAFLOW：实时数据流。DATASERVING：数据服务。DATALAKE ClusterState string 集群状态。取值范围：STARTING：启动中。START_FAILED：启动失败。BOOTSTRAPPING：引导操作初始化。RUNNING：运行中。TERMINATING：终止中。...
数据分析整体趋势
计算分析一体化：传统数据分析方案是定期从OLTP系统抽取数据同步到OLAP系统，有些可以做到准实时同步。该方案带来的问题是部署复杂，实时性低，数据冗余和高成本。理想情况是一套HTAP系统同时提供计算和分析。大数据与数据库一体化：早期大...
ALIYUN:EMR:Cluster2
DATAFLOW：实时数据流。DATASERVING：数据服务。NodeGroups List 是 否 节点组配置数组。最多添加100个节点组配置。更多信息，请参见 NodeGroups属性。ReleaseVersion String 是 否 EMR发行版。无 BootstrapScripts List 否 否 引导脚本数...
Cluster
OLAP：数据分析。DATAFLOW：实时数据流。DATASERVING：数据服务。CUSTOM：自定义混部集群。HADOOP：旧版数据湖。DATALAKE ClusterState string 集群状态。取值范围：STARTING：启动中。START_FAILED：启动失败。BOOTSTRAPPING：引导操作...
概述
云原生数据仓库AnalyticDB MySQL是云端托管的PB级高并发实时数据仓库，专注于服务OLAP领域。采用关系模型进行数据存储，可以使用SQL进行自由灵活的计算分析，无需预先建模。利用云端的无缝伸缩能力，AnalyticDB MySQL在处理百亿条甚至更多...
创建StarRocks计算源
它在OLAP场景提供多种支持，例如实时分析、即席查询、数据湖分析等。更多详情可参考 StarRocks官网。操作步骤 请参见 数仓规划入口，进入数仓 规划 页面。在数仓 规划 页面，按照下图操作指引，进入 新建计算引擎源 页面。在 新建计算源 ...
创建StarRocks数据源
它在OLAP场景提供多种支持，例如实时分析、即席查询、数据湖分析等。更多详情可参考 StarRocks官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏...
创建StarRocks数据源
它在OLAP场景提供多种支持，例如实时分析、即席查询、数据湖分析等。更多详情可参考 StarRocks官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏...
ListClusters-查询集群
DATAFLOW：实时数据流。DATASERVING：数据服务。CUSTOM：自定义混部集群。HADOOP：旧版数据湖。DATALAKE ClusterStates array 否 集群状态数组。数组元数个数 N 的取值范围：1~100。string 否 集群状态。取值范围：STARTING：启动中。START...
CreateCluster-创建集群
DATAFLOW：实时数据流。DATASERVING：数据服务。CUSTOM：自定义混部集群。HADOOP：旧版数据湖（不推荐使用，建议使用新版数据湖）。如果您在 2022 年 12 月 19 日 17 点（UTC+8）以后第一次创建 EMR 集群，不能选择 HADOOP、DATA_SCIENCE、...
使用CreateCluster API创建集群
OLAP（数据分析）依赖类型 必填应用配置参数 说明 应用ClickHouse[{"ApplicationName":"CLICKHOUSE","ConfigFileName":"cluster-info","ConfigItemKey":"replica","ConfigItemValue":"3","ConfigScope":"CLUSTER"},{"ApplicationName":...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
云原生数据仓库AnalyticDB MySQL 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，可以对千亿级数据进行毫秒级的即时多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），您可以将 ...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
云原生数据仓库AnalyticDB MySQL 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，可以对千亿级数据进行毫秒级的即时多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），您可以将 ...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
云原生数据仓库AnalyticDB MySQL 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），...
从RDS同步到云原生数据仓库AnalyticDB MySQL
云原生数据仓库AnalyticDB MySQL 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
云原生数据仓库AnalyticDB MySQL 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，可以对千亿级数据进行毫秒级的即时多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），您可以将 ...
- 产品推荐
- 这些文档可能帮助您