管理缓存
通过将数据写回到UFS，可以保证如果Alluxio发生故障数据还是可恢复的。语法 alluxio fs persist示例：将Alluxio中 tmp 目录持久化到底层文件系统中。alluxio fs persist/tmp 返回如下信息。persisted file/tmp with size 46 setTtl 设置...
功能概述
数据库发生故障后，无法在发生故障时定位到原因，可以通过智能压测功能，在克隆库上复现故障场景，定位故障原因。功能架构 智能压测的功能架构如下图所示：源数据库：将要进行大促、将要业务变更或者已经发生故障，需要进行流量捕获的数据...
设计原则
数据容灾是指在数据中心或服务器发生故障、灾难或意外情况时，能够保证数据的安全性和可用性的一系列措施和策略。数据容灾的目标是确保在不可避免的情况下，数据的完整性、可恢复性和可用性不受到严重影响，以保障业务的持续运行和数据的...
立即备份
背景信息 物理备份：物理备份是指转储 OceanBase 的物理文件包含基线数据、日志归档数据等，一旦数据库发生故障，可以利用这些文件进行数据库恢复。逻辑备份：逻辑备份是指数据库对象级备份，支持表、库两种维度的备份。库级备份时，针对...
什么是全球多活数据库集群
应用场景 异地容灾 当一个数据中心发生故障，只需做流量切换，其他数据中心即可正常运行并接管关键业务或全部业务。灾备资源充分利用 集群中所有灾备节点均对外提供读写服务，避免造成服务器资源浪费。业务系统多地域部署 业务系统部署全球...
名词解释
这种模式下，两个城市的三个数据中心互联互通，如果⼀个数据中心发生故障或灾难，其他数据中心可以正常运行并对关键业务或全部业务实现接管。命名空间 多活命名空间MSHA Namespace，是一个逻辑租户的概念，用于进行租户粒度的管控配置和云...
流量回放和压测
此外，在数据库发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。前提条件 源数据库支持：RDS MySQL PolarDB MySQL版 说明 不支持 PolarDB MySQL版 的 企业版 单节点 实例。PolarDB-X 2.0。目标数据库实例...
智能压测
此外，在数据库发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。前提条件 源数据库支持：RDS MySQL PolarDB MySQL版 说明 不支持 PolarDB MySQL版 的 企业版 单节点 实例。PolarDB-X 2.0。目标数据库实例...
源为PolarDB-X的功能规范和约束说明
警告 异常切流是指源实例或者源实例所在的数据中心发生故障时进行的切流操作。这类操作都是有损操作。在出现故障（如网络中断、机房批量设备故障或互联网数据中心IDC故障），且DTS任务存在延迟的情况下，此时如更新至目标库的最后一条数据...
源为PolarDB-X的功能规范和约束说明
警告 异常切流是指源实例或者源实例所在的数据中心发生故障时进行的切流操作。这类操作都是有损操作，例如导致数据不一致或任务失败。在出现故障（如网络中断、机房批量设备故障或互联网数据中心IDC故障），且DTS任务存在延迟的情况下，...
异地应用双活切流
场景四：故障>数据库故障 说明 部分数据库出现异常，将发生故障的主数据库切换到另一单元（地域）。a.选中想要切换的数据库，在展示框里，同一行代表同一数据库的主备。b.单击 下一步，进入 容灾切换预览，在预览页，可以看到数据库前后主...
如何快速定位及解决数据库问题
本文介绍了数据库发生故障时的快速判断方法和解决办法。如何定位系统瓶颈是否在数据库上 通过Processlist来判断 执行以下语句，显示 PolarDB-X 上所有正在执行的SQL语句。SHOW PROCESSLIST WHERE INFO IS NOT NULL 一般情况下，语句堆积会...
标准版-单副本
当数据库节点发生故障时，数据会丢失，系统会重新拉起一个Redis进程（没有数据），当节点故障业务自动切换完成后，应用程序需要将数据重新预热。单副本架构不支持以下功能：自动或手动备份、离线全量Key分析 和 实例回收站。若您对数据有...
如何对JSON类型进行高效分析
包括数据清洗、数据整合、数据转换、数据增强和数据聚合等操作。数据加载（Loading）：将经过转换的数据加载到数据仓库中，包括维度表和事实表。数据管理（Management）：对数据仓库中的数据进行管理，包括数据备份、数据恢复、数据安全等...
标准架构
当数据库节点发生故障时，数据会丢失，系统会重新拉起一个 Tair 进程（没有数据），当节点故障业务自动切换完成后，应用程序需要将数据重新预热。单副本架构不支持以下功能：自动或手动备份、离线全量Key分析 和 实例回收站。若您对数据有...
功能特性
此外，在数据库实例发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。智能压测 搜索分析 查询并导出SQL语句对应的日志信息。搜索 SQL洞察 SQL洞察聚类分析，用作深度异常的排查。SQL洞察 安全审计 内置了...
数据库高级特性管理
target_recovery_time_in_seconds 在发生故障时，数据库恢复所需的目标时间（秒）。默认值为60。compatibility_level 数据库与特定版本的兼容性级别。取值如下：100：Server 2008及更高版本。110：SQL Server 2012及更高版本。120：SQL ...
基本概念
RPO Recovery Point Objective（数据恢复点目标），指应用发生故障时预期的数据丢失量。例如，RPO=15 分钟，表示在应用发生故障时，最近 15 分钟的数据无法在云上恢复。RTO Recovery Time Objective（恢复时间目标），指故障发生时，在云...
代码逻辑场景
受影响的请求数 否 0 限制最多发生故障的请求总数，每生效一次故障计数加1，累计发生故障请求数超出设定值后，请求则不再发生故障。填写数值小于等于0时，则表示不限制。受影响的请求占比（%）否 0 限制发生故障的请求数占所有应该发生故障...
什么是混合云容灾服务
RPO Recovery Point Objective（数据恢复点目标），指应用发生故障时预期的数据丢失量。例如，RPO=15 分钟，表示在应用发生故障时，最近 15 分钟的数据无法在云上恢复。RTO Recovery Time Objective（恢复时间目标），指故障发生时，在云...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
开通备份恢复
云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据...
设计方案
风险预测：风险预测是指在发生故障前，通过数据分析、机器学习等方式，预测系统的风险情况，提前进行预防和处理。在故障应急响应中，风险预测可以作为重要参考，帮助快速识别问题的根本原因，提高故障处理效率和精度。故障响应 在发现故障...
故障应急
故障管理体系是围绕故障全生命周期采取的一系列控制流程，包括故障基础数据管理（故障等级定义、应急场景监控覆盖、服务组&值班表管理、故障订阅管理），故障...故障恢复（初因推荐、快恢推荐），故障复盘（故障复盘规范、故障数据运营）。
ActionTrail日志清洗
系统默认的数据清洗时间是00:30，您可以根据业务规律，将数据清洗时间设置在业务低峰期，以免清洗过程中可能对业务造成的影响。完成上述参数配置后单击 创建，创建Schema。Schema创建成功后，DLA自动在您设定的同步时间将ActionTrail投递到...
背景信息以及准备工作
在使用DLA对OSS中的历史数据按天进行清洗时，由于数据清洗的SQL是固定的，只是每次执行的时候需要传入不同的日期，因此我们可以通过DataWorks来循环调度DLA数据清洗任务。针对上述场景，我们需要在DataWorks中完成以下工作：部署一个赋值...
应用场景
2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步分析做准备。2.2 收益 实时ETL 接入多种数据源，实时进行清洗、过滤、关联与...
场景2：依赖上一周期的结果时，如何配置调度依赖
业务场景：本周期该节点是否进行数据清洗取决于下游节点上一周期对本节点的结果表（即本节点输出表）数据清洗的结果。如果下游节点的上一周期运行成功，本周期的节点实例开始运行，否则将不能运行。xc_create选择依赖一层子节点。运维中心...
典型场景
数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。联邦分析：同时连接多个数据源做...
集成与开发概览
开发：实时报表、日志分析、离线宽表、T+1数据快照、数据聚合、数据清洗、数据脱敏等。数据开发 数据库开发：跨库开发、定时任务、数据归档、数据迁移、报表开发等。数仓开发：数据入仓、数据清洗、数据加工、数据分层、报表开发、宽表开发...
错误码
当故障数据节点恢复后，PolarDB-X 将自动取消fail-fast状态。如果数据节点故障解决后仍然出现PXC-4200错误，请联系技术支持。PXC-4201 ERR_GROUP_NO_ATOM_AVALILABLE 描述：PolarDB-X 分库内暂时没有可用数据节点。示例：ERR-CODE:[PXC-...
使用SDK示例代码消费订阅数据
实现原理是当消费组下的正常消费数据的客户端发生故障后，其他的SDK客户端将随机且自动地分配到partition 0，继续消费。设置Java文件代码中的必填参数。表 1.必填参数说明 参数 说明 获取方式 brokerUrl 数据订阅通道的网络地址及端口号...
使用SDK示例代码消费订阅数据
实现原理是当消费组下的正常消费数据的客户端发生故障后，其他的SDK客户端将随机且自动地分配到partition 0，继续消费。设置Java文件代码中的必填参数。表 1.必填参数说明 参数 说明 获取方式 brokerUrl 数据订阅通道的网络地址及端口号...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
概述
在投递的过程中可能添加数据清洗和集成的工作，例如实时构建搜索系统的索引和实时数仓中的ETL过程等。实时数据分析 实时数据分析指的是根据业务目标，从原始数据中抽取对应信息并整合的过程。例如，查看每天销量前10的商品、仓库平均周转...
灾备规划
RTO和RPO要求 应用容灾有两个核心的指标：RPO：指应用发生故障时可以容忍的数据丢失量。数据越重要，RPO就要求越小。RPO越小，往往要求数据备份、复制频率更高，对生产环境、网络的压力也会越大，成本通常也越高。RTO：指故障发生后，期望...
构建数据仓库
场景说明 用户数据来源丰富，包括来自云端的数据、外部数据源，数据统一沉淀，完成数据清洗、建模。用户的应用场景复杂，对非结构化的语音、自然语言文本进行语音识别、语义分析、情感分析等，同时融合结构化数据搭建企业级的数据管理平台...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
应用场景
当发生机房或数据中心级别故障时，可以快速恢复业务。可以实现两地三中心、两地四中心、三地六中心等架构。典型行业：银行、证券、保险、互金等。业务架构（以两地三中心架构为例）数据库由两个 PolarDB 集群组成：北京的双可用区集群，...
- 产品推荐
- 这些文档可能帮助您