纠删码
开启纠删码功能后，在进行数据整理（Compaction）时，数据将被自动转化为EC格式。CREATE TABLE dt(p1 integer,p2 integer,primary KEY(p1))WITH(EC_POLICY='RS-4-2');说明 建议将 EC_POLICY 设置为 RS-4-2。在存储效率上，RS-4-2算法等价于...
新功能发布记录
数据归档至AnalyticDB MySQL 3.0 03月 功能名称 变更类型 功能描述 相关文档 3月31日DMS个人版旧版下线 下线 数据管理DMS（个人版）的Web服务在2022年3月31号下线，升级为新版本DMS 5.0控制台。【通知】3月31日数据管理DMS个人版旧版下线 3...
性能优化与诊断简介
性能洞察（新版）基于MySQL的performance_schema能力汇聚SQL信息，评估目标数据库负载情况，找到性能问题的源头，提供相应的治理方案，提升数据库的稳定性。性能洞察（旧版）负载监控、分析、性能调优的利器，以简单直观的方式帮助您迅速...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
银泰商业
对于多个库、应用之间的复杂调用关系，一方面通过分析数据库监听日志的方式进行梳理，另外一方面也使用ADAM的调用分析工具，整理出调用关系图，然后根据复杂程度逐步灰度。PolarDB PostgreSQL版（兼容Oracle）团队修改了部分驱动包中的代码...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
数据加工过程卡点校验
针对高等级的数据资产，整理出会影响数据的加工的变更，及时通知离线开发人员。例如，对于财务报表，如果业务系统的改造影响财务报表的计算，导致约定好的计算口径被业务系统变更修改，则这种情况必须告知离线开发人员，离线开发人员也必须...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
空间回收
表中的数据被删除或更新后（UPDATE/DELETE），物理存储层面并不会直接删除数据，而是标记这些数据不可见，所以会在数据页中留下很多“空洞”，在读取数据时，这些“空洞”会随数据页一起加载，拖慢数据扫描速度，需要定期回收删除的空间。...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
数据湖管理FAQ
Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
大数据安全治理的难点
数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有哪些资产？这些资产分布在哪里、承载着什么样的业务？资产内有哪些数据？数据业务属性及重要程度...
确定需求
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、统计粒度，简称“粒度”，是维度或维度组合）汇总的，衡量标准是什么？例如，“省份”或者“类目”是维度，订单数是原子指标。基于上个问题，进一步思考...
Tunnel命令常见问题
导入数据的最后一列为什么会多出\r符号？使用Tunnel Upload命令上传数据时，默认用逗号进行列分割，但是数据中有逗号，这种情况如何分割？使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
如何处理Tair集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
如何处理Redis集群数据倾斜
您可以在 性能监控 的 数据节点 页面中查看各数据分片节点的对应指标，通常情况下，若某数据分片节点（最高）的性能指标高出其他数据分片节点（最低）20%及以上时，可认为已产生数据倾斜，差值越大，数据倾斜程度越严重。下图介绍两个典型...
配置项常见问题
数据系列与配置项系列有什么关系？数据系列 很多基础二维组件（如折线图、柱状图等）都支持多个不同系列的系列展示，您只需在配置面板的 数据 页签中配置不同的 s 字段即可。配置项系列 支持多系列的组件（如折线图、柱状图等），在 配置 ...
配置项常见问题
数据系列与配置项系列有什么关系？数据系列 很多基础二维组件（如折线图、柱状图等）都支持多个不同系列的系列展示，您只需在配置面板的 数据 页签中配置不同的 s 字段即可。配置项系列 支持多系列的组件（如折线图、柱状图等），在 配置 ...
RDS SQL Server迁移至DataHub
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 迁移至 阿里云流式数据服务DataHub。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。已开通 DataHub 服务，并且已创建用作...
从Oracle迁移应用至阿里云PolarDB全流程指南
DTS数据传输服务（线上）：选择 数据迁移，支持结构迁移（不推荐使用，不要勾选），全量数据迁移，增量数据迁移，数据校验与数据订正以及数据回流（即PolarDB增量同步回Oracle）等功能。DTS迁移工具（线下）：阿里云官方线下迁移工具，支持...
RDS MySQL迁移至Tair/Redis
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或RDS MySQL）迁移至 云原生内存数据库Tair 或 云数据库Redis，降低后端关系型数据库的负载，从而提升用户体验。本文以 RDS MySQL 实例为源，云数据库Redis ...
RDS MySQL同步至Tair/Redis
数据传输服务DTS（Data Transmission Service）支持将MySQL数据库（例如自建MySQL或RDS MySQL）同步至 云原生内存数据库Tair 或 云数据库Redis，降低后端关系型数据库的负载，从而提升用户体验。本文以 RDS MySQL 实例为源，云数据库Redis ...
查看数据校验详情
为什么目标库有增量数据写入，而增量校验任务没有校验出不一致数据？增量校验任务是以源库为基准，校验目标库与源库数据的一致性。仅当源库发生数据变更且增量数据未被写入目标库，或者写入的数据与源库不一致时，才会校验出不一致数据。
从自建Redis迁移至MyBase Redis
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移上云。本文是以新版数据传输服务DTS（Data Transmission Service）控制台为例，旧版数据传输服务DTS...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
云数据库Redis间的迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service，简称DTS），实现 云数据库Redis 间的迁移。前提条件 已创建源和目标 云数据库Redis。说明 源和目标 云数据库Redis 的创建方式，请参见 创建Redis实例。支持的版本，请参见 ...
自建Oracle迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
跨云账号迁移云数据库Redis实例
DTS支持全量数据迁移和增量数据迁移，可以实现在不停服的情况下，平滑地完成数据库的迁移。前提条件 目标云数据库Redis可用的存储空间需大于源云数据库Redis已使用的存储空间。源云数据库Redis的引擎版本为4.0（社区版）或5.0（社区版、...
- 产品推荐
- 这些文档可能帮助您