升级数据库版本
方式二：通过数据迁移DTS升级数据库版本 对于不支持通过控制台直接升级的实例，您可以按如下步骤间接升级：创建新实例 数据迁移至新实例 释放原实例 例如您可以创建MySQL 8.0的新实例，然后将开启了TDE功能的MySQL 5.7实例的数据迁移至新...
离线同步常见问题
脏数据限制设置为多少就是不允许有多少条脏数据，若限制为0即在发现第一条脏数据时就会停止任务，此时有可能已经传几条数据了，或者没有传输数据（脏数据在所有数据中位于第一条时）。如何排查离线同步任务运行时间长的问题？可能原因1：...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时，如何解决？Tunnel Upload完成后，存在脏数据，如何解决？Tunnel Download Tunnel Download导出格式有哪些？在同一地域内使用Tunnel ...
RDS MySQL物理备份文件恢复到自建数据库
rds-xtrabackup-80-8.0.31-20230817110455.alios7.x86_64.rpm Linux 7（基于ARM AArch64架构）RDS XtraBackup 8.0工具下载 sudo yum localinstall-y/XtraBackup8.0/t-rds-xtrabackup-80-8.0.31-20230817110455.alios7.aarch64.rpm Linux 8...
快速入门
MySQL快速入门 SQL Server快速入门 PostgreSQL快速入门 MariaDB快速入门 数据库引擎 以下是对四种数据库引擎的介绍：云数据库RDS MySQL MySQL是全球受欢迎的开源数据库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
应用场景：低成本历史库
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.11元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析...
低成本RDS历史库
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.12元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接Spark、Hive、Flink、Presto等开源分析生态满足用户对数据的复杂分析...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
分区表常见问题
如果 t1 中 p0 的数据范围与 t2 中 p0 的数据范围完全一致，您可以在数据迁移的SQL语句中使用 WITHOUT VALIDATION 选项来加快迁移速度。如：ALTER TABLE t1 EXCHANGE PARTITION p0 WITH TABLE temp WITHOUT VALIDATION;使用 EXCHANGE ...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
文档修订记录
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
设置透明数据加密TDE
在安全合规或静态数据加密等场景下，推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高...
Beam排序优化（7.0版）
注意事项 仅v7.0.1.x及以上版本的 AnalyticDB PostgreSQL 7.0版 实例支持Beam排序优化功能。查看实例的内核版本，请参见 查看内核小版本。组合排序 定义组合排序键 组合排序键会按照定义排序键的顺序，优先按照第一个排序键完全有序，再...
MapReduce API
上面的例子，您可以使用 reducer 作为 combiner 在 mapper 端对数据做初步的聚合，减少Shuffle出去的数据量。words_df.map_reduce(mapper,reducer,combiner=reducer,group='word')引用资源 在MapReduce API里，您可以分别指定 mapper 和 ...
SQL其他常见问题
定时（例如每天）对ODS层的增量数据做数据清洗，复杂字段拆分为多个简单字段，然后存储在CDM层的表中，便于统计和分析数据。在执行MaxCompute SQL过程中，报错partitions exceeds the specified limit，如何解决？问题现象 在执行...
2023年
Github公开事件数据 2023年7月更新记录 时间 特性 类别 描述 产品文档 2023-07-31 新增简单用户画像分析（MaxCompute版）新说明 本文以网站用户画像分析为背景，通过使用DataWorks完成数据采集、数据加工、配置数据质量监控、数据可视化...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
数据模型
当您需要在不同业务场景中使用 云数据库 SelectDB 版 时，深入了解其数据模型对于您的业务设计具有重要帮助。本文档将指导您了解其数据模型，以帮助您设计出更优的数据存储方案。基本概念 在 云数据库 SelectDB 版 中，数据以表（Table）的...
历史数据清理
当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时，您可以使用数据管理DMS提供的历史数据清理功能，定期清理历史数据，以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...
版本说明
V1.0.0 2017年7月31日 TSDB V1.0.0 正式上线发布邀请公测，提供如下功能：支持基于 OpenTSDB 协议的时序数据读写。支持高压缩存储，单数据点存储空间小于2Byte。数据管理 DMS。数据时效——支持自定义数据有效期，自动失效和删除过期数据。...
附录：DataHub消息格式
nopk add column holo text","ddlMeta":"rO0ABXNyACljb20uYWxpYmFiYS5kaS5wbHVnaW4uY2VudGVyLm1ldGEuRERMTWV0YQLb5Cx/YWXtAgACTAAHZGRsVGV4dHQAEkxqYXZhL2xhbmcvU3RyaW5nO0wACXN0YXRlbWVudHQAKkxjb20vYWxpYmFiYS9mYXN0c3FsL3NxbC9hc3QvU1...
AnalyticDB MySQL 2.0数据导入
由于 数仓版（3.0）与 AnalyticDB for MySQL 2.0的架构不同，因此 AnalyticDB for MySQL 2.0不能升级到 数仓版（3.0）。您需要迁移数据和应用到 数仓版（3.0）。本文介绍数据和应用的迁移方法。背景信息 AnalyticDB for MySQL 2.0随后会...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
存储空间分析
数仓版（3.0）预留模式集群与 弹性模式集群版（新版）集群、湖仓版（3.0）集群查看的 总数据量 指标不同，预留模式集群不支持冷热数据分离，因此仅能在 总数据量 指标中查看 总数据量、平均节点数据量 和 最大节点数据量 指标。弹性模式...
大数据AI公共数据集分析
数据类型 MaxCompute数据类型包含 1.0数据类型、2.0数据类型 和 Hive兼容类型。本教程选择：2.0数据类型。是否加密 指定创建的MaxCompute项目是否需要开启数据加密功能。更多数据加密信息，请参见 存储加密。本教程选择：不加密。完成配置...
数据归档概述
数据归档至AnalyticDB MySQL 3.0 数据归档至Lindorm 数据归档至AnalyticDB PostgreSQL版 数据归档至RDS MySQL 数据归档至PolarDB MySQL版 数据归档至用户OSS 数据归档至DBS内置OSS 常见问题 Q：如果在数据归档过程中选择了清理源表数据，...
升级数据库大版本
MongoDB 6.0 MongoDB 7.0 MongoDB 5.0 MongoDB 6.0 MongoDB 4.4 MongoDB 5.0 通用型本地盘版 独享型本地盘版 独占物理机 MongoDB 4.2 不支持升级数据库大版本。如果您需要升级数据库大版本，可以通过创建新实例，使用新实例替换旧实例的...
2.0数据类型版本
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
创建Impala数据源
版本支持：CDH5:2.11.0 CDH6:3.2.0 CDP7.1.3:3.4.0 E-MapReduce 3.x:3.4.0 E-MapReduce 5.x:3.4.0 E-MapReduce 5.x:4.2.0 数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：如果业务数据源区分生产...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
MongoDB数据库大版本升级说明
数据库大版本 兼容性变更说明 MongoDB 7.0 将大版本升级至MongoDB 7.0场景，目前不存在兼容性问题。如果需要将MongoDB 7.0版本降级至其他大版本，则需要先移除7.0版本支持的功能，例如：删除所有柱状索引（columnar indexes）。注销通过 ...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
高压缩引擎（X-Engine）介绍
针对如上问题，一种做法是对历史数据做归档，将长期不使用的数据迁移至以文件形式存储的廉价存储设备上，如阿里云OSS或者阿里云数据库DBS服务。然而，在实际业务中，历史数据并不完全是静态的，针对几个月甚至几年前的历史数据，依旧可能...
DescribeDataAssets-查询数据资产敏感信息
取值：1：未识别到敏感数据，无风险 2：1 级敏感数据风险 3：2 级敏感数据风险 4：3 级敏感数据风险 5：4 级敏感数据风险 6：5 级敏感数据风险 7：6 级敏感数据风险 8：7 级敏感数据风险 9：8 级敏感数据风险 10：9 级敏感数据风险 11：10 ...
Transaction Table2.0概述
如上图所示，如果使用单一的MaxCompute离线批量处理链路，有些场景需持续将用户分钟级增量数据和全量数据做合并处理和存储，产生冗余的计算和存储成本，也有场景需要将各种复杂的一些链路和处理逻辑转化成T+1的批次处理，极大增加链路复杂...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
- 产品推荐
- 这些文档可能帮助您