块存储FAQ
云盘二次分区有哪些注意事项？写入数据与分区格式化有什么关系？回滚云盘问题 数据盘进行二次分区后，此时回滚快照后，数据盘是几个分区？回滚云盘时为什么报错“执行回滚磁盘需要停止实例，并且确保当前磁盘没有创建中的快照和没有更换过...
扩容数据盘分区
背景信息 基于自定义镜像创建自定义云电脑模板时，如果云电脑模板选择的数据盘容量超过镜像对应的数据盘容量，那么基于该云电脑模板创建的云电脑，其数据盘初始容量为镜像对应的数据盘容量，因此云电脑模板对应的数据盘超出的容量会处于未...
Linux实例中数据恢复
具体操作，请参见 初始化小于等于2 TiB数据盘（Linux）。如果上述操作无效，您可以使用testdisk工具尝试修复。通过testdisk恢复分区 这里假设云盘的设备名为/dev/xvdb。按以下步骤使用testdisk工具恢复分区：运行 testdisk/dev/xvdb（根据...
重新初始化数据盘
如果数据盘创建时是一个空盘：数据盘的文件系统及内容完全丢失，您必须重新格式化、分区数据盘，并挂载数据盘分区。操作步骤 步骤1：准备工作 已为云盘创建快照。具体操作，请参见 创建快照。警告 重新初始化操作会清空数据盘已写入数据，...
如何恢复系统盘数据？
mount<数据盘分区><挂载点><数据盘分区>：在B实例上执行 lsblk 和 blkid 命令，可以发现相比挂载云盘前新增了A实例系统盘中的分区和文件系统。例如新增的/dev/vdb1是A实例系统盘中的根文件系统，则数据盘分区可设置为/dev/vdb1。说明 A实例...
在fstab文件中配置UUID方式自动挂载数据盘
具体操作，请参见 初始化小于等于2 TiB数据盘（Linux）或者 初始化大于2 TiB数据盘。操作步骤 本操作以实例的两块数据盘/dev/vdc（分区/dev/vdc1）和/dev/vdd（分区/dev/vdd1）为例，请您根据环境进行操作。远程连接ECS实例。具体操作，请...
创建云盘
初始化小于等于2 TiB数据盘（Linux）初始化小于等于2 TiB数据盘（Windows）初始化大于2 TiB数据盘 创建云盘快照 快照是一种无代理的数据备份方式，常用于日常数据备份、实例误释放恢复、制作自定义镜像等场景。支持为系统盘和数据盘创建...
Windows实例中数据恢复
背景信息 在Windows实例里，您可以选择以下任一种工具恢复数据盘数据：磁盘管理：Windows系统自带工具，主要用于分区格式化数据盘等。数据恢复软件：一般是商业软件，您可以去相应的官网下载使用。主要作用是文件系统异常恢复数据。磁盘...
ModifyReplicationJobAttribute-修改迁移任务
说明 分区空间大小不能超过数据盘空间大小，并且在同一数据盘下所有分区空间大小之和不能超过数据盘空间大小。254803968 Block boolean 否 目标数据盘 N 分区 N 是否开启块复制。取值范围：true。false。true Device string 否 目标数据盘 ...
扩容分区和文件系统（Linux）
US.UTF-8 growpart/dev/vda 1 sudo resize2fs/dev/vda1 示例2：扩容GPT分区 和xfs文件系统 设备名：/dev/vdb（数据盘）2个分区：/dev/vdb1、/dev/vdb2 文件系统类型：xfs/dev/vdb2的挂载目录：/mnt 操作系统：Debian 12 扩容分区和文件系统...
一键实时同步至MaxCompute
目标端Base表T-2分区数据产出检查失败。前一天Merge任务执行失败。Base表前一天分区被删除。为Merge节点配置运行状态监控，详情请参见：规则管理。若误删除Base表T-2分区，请通过补数据功能将其补齐，补齐后，再重新运行Merge节点。详情请...
一键实时同步至MaxCompute
目标端Base表T-2分区数据产出检查失败。前一天Merge任务执行失败。Base表前一天分区被删除。为Merge节点配置运行状态监控，详情请参见：规则管理。若误删除Base表T-2分区，请通过补数据功能将其补齐，补齐后，再重新运行Merge节点。详情请...
初始化概述
操作指导 初始化小于等于2 TiB的数据盘 操作系统 初始化工具 分区格式 常见文件系统 参考文档 Windows 磁盘管理 GPT（推荐）MBR NTFS 初始化小于等于2 TiB数据盘（Windows）Linux 分区：Parted 文件系统：e2fsprogs GPT（推荐）MBR ext4 ...
初始化小于等于2 TiB数据盘（Linux）
步骤二：为数据盘创建分区 重要 MBR分区不支持2 TiB以上容量。如果您使用的云盘容量大于2 TiB或者后续有可能会扩容到2 TiB以上，分区时请采用GPT分区格式。Parted工具适用于MBR分区和GPT分区，fdisk分区工具只适用于MBR分区。创建GPT分区 ...
基本数据库对象及概念
当有新的二级分区数据被加载时，分析型数据库MySQL版会以二级分区列的键值排序，删除最小键值的二级分区。为什么要限制二级分区数？过多的二级分区会占用计算节点大量的内存，导致系统容易不稳定。所以我们一般建议二级分区数不要超过90个...
初始化大于2 TiB数据盘
例如数据盘/dev/vdc 有2个分区/dev/vdc1 和/dev/vdc2，需要分别执行以下命令：echo `blkid/dev/vdc1|awk '{print$2}'|sed 's/\"/g'`的挂载点>的文件系统类型>defaults 0 0>>/etc/fstab echo `blkid/dev/vdc2|awk '{print$2}'|sed 's/\"/g'`...
概述
组合分区提供了二维分区的优点。从性能的角度来看，您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此，子分区的属性是独立的，可以与表的属性或子分区所属的一级分区不同，使用中更加灵活。
电子商务
根据数据量和存储总时间，按月（201712）间隔，每月一个二级分区，每个二级分区数据量为：1193万=550亿/（128个一级分区）/(3年×12个月)。创建表的SQL语句如下：CREATE TABLE t_fact_orders(order_id varchar COMMENT '',customer_id ...
分区格式化数据盘
分区格式化Linux服务器的数据盘 本示例以CentOS 7.6 64位系统为例，介绍如何在Linux服务器上使用Parted和e2fsprogs工具分区并格式化数据盘。Linux服务器上挂载的数据盘，建议您采用GPT分区格式，并采用xfs或者ext4文件系统。远程连接Linux...
存储成本优化
如果小时调度的统计任务也按天分区，数据每小时追加，则每小时将多读取大量的无用数据，增加不必要的费用。您可以根据实际的业务情况选择分区字段，除了日期和时间，也可以使用其他的枚举值个数相对固定的字段，例如渠道、国家和省份地市。...
数据建模诊断
分区字段不合理判定规则 如果表中有10%以上的分区记录条数不在合理区间则视为不合理，具体的判定规则见下表：节点数 二级分区数据行数 1 1600 w~16000 w 2 6400 w~64000 w 4~6 12800 w~128000 w 8~14 19200 w~192000 w 16~30 25600 w~...
卸载数据盘
步骤2：在操作系统内卸载数据盘 如果在操作系统内，数据盘已经创建分区并挂载，请根据以下操作卸载数据盘。Linux系统 远程连接ECS实例。具体操作，请参见 通过密码或密钥认证登录Linux实例。运行以下命令查看数据盘挂载信息。df-h 结果如下...
API概览
本产品（数据湖构建/2020-07-10）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接...ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
创建云盘
使用MBR分区（不支持2 TiB以上容量），请参见 初始化小于等于2 TiB数据盘（Linux）或 初始化小于等于2 TiB数据盘（Windows）。如果创建云盘时，选择 暂不挂载。后续需要挂载并初始化数据盘。挂载数据盘。说明 如果您在挂载数据盘过程中直接...
数据规范
对于已经产出完成暨可用的数据分区，需要产出一个标识分区，分区字段值为对应数据分区的分区字段值后加.done，例如数据分区为 20210822，则对应的标识分区为 20210822.done。定时执行 如果您设置的全量调度策略为“定时执行”，则aime会...
手动创建分区表（AUTO模式）
创建 HASH-*二级分区 创建 HASH-HASH 二级分区 模板化用法 CREATE TABLE tb_h_h_tp(id bigint not null auto_increment,bid int,name varchar(30),birthday datetime not null,primary key(id))PARTITION BY HASH(bid)PARTITIONS 2 ...
当实例无法启动时扩容云盘
格式化GPT分区操作，请参见 分区格式化大于2 TiB数据盘。背景信息 问题描述：Linux实例中云盘的inode使用率或者空间使用率过高，导致实例无法启动。问题原因：Linux实例的云盘容量不足，您需要对云盘进行扩容。说明 您可以通过 df-Th 命令...
EMR Kafka磁盘故障运维
当检测或定位到磁盘故障时，可以考虑如下运维策略：Broker迁移：将Broker迁移到新的ECS实例，适合单个Broker只有一块数据盘的场景，详情请参见 Broker迁移方式。节点间分区迁移：将故障磁盘中的分区副本迁移到其他Broker，详情请参见 节点...
应用场景
只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，极大地节省了成本，降低了技术风险。同时，OceanBase 数据库的分区表方案也可以使得用户...
按扫描量付费
数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描所有分区，从而节省扫描费用。计费示例 您在OSS中存储了两个容量均为1 TB的CSV文件和JSON文件，在RDS中存储一个容量为1TB的数据表。...
存储引擎
数据分区：支持数据多级分区，且可按Value或范围进行分区，常用场景为按时间进行分区，可明显降低IO数据量，同时分区支持混合存储，历史数据和活跃数据可分层冷热存储。排序及粗糙集过滤：建表时可指定排序字段，数据通过排序后，一方面可...
TRUNCATE
如果您需要清空分区表中单个或多个分区的数据，请参见 清空分区数据。命令格式 truncate table;参数说明 table_name：必填。待清空数据的非分区表的名称。清空分区数据 清空分区表中指定分区的数据。MaxCompute支持通过条件筛选方式清空...
创建部分索引
创建 LIST-RANGE 类型的二级分区表 tenants，在 p0 的所有二级分区以及 p1 的 p1_1、p1_2 和 p1_3 分区上创建部分索引 ind_id，在 p0 的 p0_1 和 p0_2 分区以及 p1 的 p1_1 和 p1_2 分区上创建部分索引 ind_date。CREATE TABLE tenants(id ...
AnalyticDB MySQL 2.0数据导入
同步单个表的某个二级分区数据。data-sync table table_name to catalog_name on partition;参数 说明 table_name AnalyticDB for MySQL 2.0集群的表名称。catalog_name 数仓版（3.0）外部数据目录的名称。partition AnalyticDB for MySQL ...
导出至MaxCompute
本文介绍如何通过INSERT外表方式将 AnalyticDB MySQL版 数仓版（3.0）数据导出到MaxCompute分区表。前提条件 根据MaxCompute 准备工作 和 快速入门 准备目标数据表。例如通过 表操作 语句，在MaxCompute中创建以下表。如果您已经有目标数据...
表设计优化建议
选择合适的二级分区键 二级分区通过 PARTITION BY 来指定，如：#直接用ds的值来做二级分区 PARTITION BY VALUE(ds)#用ds算出的天来做二级分区 PARTITION BY VALUE(DATE_FORMAT(ds,'%Y%m%d'))#用ds算出的月来做二级分区 PARTITION BY VALUE...
ODPS-0123031
2）您可以合并历史分区数据，例如把历史一个的数据合并成一个分区，详情可以参考 合并分区。3）您可以通过拆表，把历史分区数据备份到备份表，把历史分区从当前表删除，请参考 删除分区。错误2：a single instance cannot output data to ...
数据建模
时间分区 时间分区会按照时间维度进行数据分区存储，存储底层会将不同时间分区内的数据进行分段存储，一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线...
如何理解主键、数据分区和数据分区键
数据分区和分区键 表格存储会自动把表分成不同的数据分区，以达到对其存储数据的负载均衡。数据分区的划分粒度为主键的第一列，该列即为数据分区键。拥有相同数据分区键的行必然在同一个数据分区中。表格存储能够保证对具有同一数据分区键...
表格存储建表注意事项
主键的第一列为分区键，可以理解为当表的数据量达到一个设定值时，表格存储会根据分区键列值的范围来进行分区的操作，通过分区来达到数据访问负载均衡的目的。建表时，表内的数据默认拥有一个分区，即该表的所有数据在一个数据分区上。当表...
- 产品推荐
- 这些文档可能帮助您