离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
数据湖管理FAQ
围绕OSS对象存储等数据湖存储，构建上层可扩展的数据入湖能力，把Hudi、Delta等高效的对象管理格式和Parquet、ORC等对象格式，写入到数据湖中，并在写入过程中支持UPSERT、小文件合并、MVCC多版本、快照读等能力，用数仓的特性来解决单纯...
从Oracle迁移应用至阿里云PolarDB全流程指南
DTS数据传输服务（线上）：选择 数据迁移，支持结构迁移（不推荐使用，不要勾选），全量数据迁移，增量数据迁移，数据校验与数据订正以及数据回流（即PolarDB增量同步回Oracle）等功能。DTS迁移工具（线下）：阿里云官方线下迁移工具，支持...
客户案例
这个时候存储系统的扩展性就显得非常重要，如果一开始我们就预估 5-10 年的存储资源，在前期数据规模不大的情况下，必然存在严重的资源浪费，如果前期预估得太少，随着数据增长，MySQL+中间件的集群扩容带来的数据搬迁问题又费时费力。...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
COPY
COPY 用于在PolarDB表和标准文件系统文件之间移动数据。简介 COPY 在 PolarDB表和标准文件系统文件之间移动数据。COPY TO 把一个表的内容复制 到 一个文件，而 COPY FROM 则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPY ...
常见问题
Q：什么情况下会导致复制延迟增大？A：出现如下情况时会导致复制延迟增大：主节点写入负载高，产生了过多的Redo日志，导致只读节点来不及应用。只读节点负载过高，抢占了过多原本属于应用Redo日志的资源。I/O出现瓶颈，导致读写Redo日志过...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
数据传输仅支持迁移库名、表名和列名为 ASCII 码且不包含特殊字符（包括换行、空格，以及.|"'`()=;的对象。目标端是数据库的情况下，数据传输不支持目标端存在触发器（Trigger）。如果存在，可能导致数据迁移失败。数据迁移过程中，源端...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
PolarDB MySQL版迁移至Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群迁移至Kafka集群，扩展消息处理能力。前提条件 已创建目标自建Kafka集群实例或 阿里云消息队列Kafka版 实例。说明 若目标实例为 阿里云消息队列...
PolarDB-X 2.0迁移至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），您可以将 PolarDB-X 2.0 迁移至阿里云消息队列Kafka，从而扩展消息处理能力。前提条件 已创建源 PolarDB-X 2.0 实例，且需兼容MySQL 5.7版本。目标Kafka实例中已创建用于...
新功能发布记录
数据归档至AnalyticDB MySQL 3.0 03月 功能名称 变更类型 功能描述 相关文档 3月31日DMS个人版旧版下线 下线 数据管理DMS（个人版）的Web服务在2022年3月31号下线，升级为新版本DMS 5.0控制台。【通知】3月31日数据管理DMS个人版旧版下线 3...
自治中心
功能介绍 DAS会对数据库的核心指标进行异常检测，如发现异常会自动进行会话诊断、SQL诊断、容量诊断，确认造成异常的原因，并给出优化或止损的建议，并且在您授权的情况下，自动进行优化或止损操作。相关功能：异常检测 SQL限流 自动SQL限...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
控制台发布记录
可以通过performance_schema能力汇聚SQL信息，评估目标数据库负载情况，找到性能问题的源头，提供相应的治理方案，提升数据库的稳定性。2022-12-26 性能洞察（新版）新增冷数据归档 PolarDB MySQL版 支持将低频使用的冷数据归档到OSS对象...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
互联网金融：上海富友支付服务股份有限公司
运维繁琐且成本高：国内该商业数据库的DBA稀缺，出问题后大多情况下需要原厂介入，处理周期太长，严重影响到业务的使用。解决方案 数据库选型 经过充分的调研和评估，富友决定采用阿里云瑶池数据库旗下的云原生数据库PolarDB承载核心的支付...
性能优化与诊断简介
性能洞察（新版）基于MySQL的performance_schema能力汇聚SQL信息，评估目标数据库负载情况，找到性能问题的源头，提供相应的治理方案，提升数据库的稳定性。性能洞察（旧版）负载监控、分析、性能调优的利器，以简单直观的方式帮助您迅速...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
行业趋势与背景
该时代的产品专注解决单机解决不好的分布式扩展性问题，满足分布式数据一致性要求，并支持从单机到分布式的平滑演进，利用云原生技术的优势提供低成本和弹性能力，在交付上具备线上公有云、线下专有云、轻量化等全形态输出。
技术面临的挑战与革新
同时存储计算分离架构在扩展存储时因为不再是记录级别的迁移，不需要过多考虑数据库系统诸如事务完整性、一致性等问题，过程中耗费的计算资源相比share nothing架构的数据库系统大幅下降。可以说存储计算分离是云时代数据库产品的事实主流...
处理CPU使用率高问题
自动性能扩展：帮助数据库实例快速弹性适配高峰流量，可有效保障线上业务稳定性，同时支持实时检测CPU使用率，在单位时间内CPU使用率下降的情况下，支持自动规格回缩。自动SQL限流：自动控制数据库请求访问量和SQL并发量，保障服务的可用性...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
实时同步任务延迟解决方案
但由于总字节数包括任务从上次指定位点启动开始的数据量，如果任务运行时间已经很长，则可能无法反映出最近的数据倾斜情况，您需要继续通过源端系统的监控指标确认是否存在数据倾斜情况。如果写入源端系统的单个分区或者shard数据流量已经...
VAR_SAMP
当您需要了解数据值的波动或分布情况时，MaxCompute支持使用VAR_SAMP函数计算指定数值列的样本方差，帮助您从数据中提取出更深层次的价值。此函数为MaxCompute 2.0扩展函数。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果您...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
车联网数据存储处理方案
根据对车联网的业务特征的分析给出了为什么Lindorm作为一个数据存储为什么是车联网业务的合适选择。方案总览 Lindorm是一款适用于任何规模、多种模型的云原生数据库服务，支持海量数据的低成本存储处理和弹性按需付费，提供宽表、时序、...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
OpenEvent概述
类型：数据 扩展点事件 例如，当用户在下载中心进行数据下载操作。说明 由于网络时延问题，OpenEvent的消息发送可能存在一定延迟。配置流程 了解上述原理后，您可根据实际情况规划并应用DataWorks的OpenEvent功能，实现关键事件的消息订阅...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
数据治理中心概述
您可直接使用该模板检测问题数据，若模板的配置项无法满足需要，则也可自定义检查项及治理项。健康分：基于治理项，按照系统预先定义的模型计算得出，用于评估治理成效。治理单元：由一个或多个工作空间组成，用于集中统计指定工作空间的...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、统计粒度，简称“粒度”，是维度或维度组合）汇总的，衡量标准是什么？例如，“省份”或者“类目”是维度，订单数是原子指标。基于上个问题，进一步思考...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
- 产品推荐
- 这些文档可能帮助您