HDFS使用优化
背景信息 本文为您介绍一些HDFS使用的优化建议：控制小文件个数 配置HDFS单目录文件数量 配置可容忍的磁盘坏卷 使用Balancer进行容量均衡 控制小文件个数 背景：HDFS NameNode将所有文件元数据加载在内存中，在集群磁盘容量一定的情况下，...
对象
pg_statio_all_indexes 显示当前数据库中每个索引的磁盘块读取总数和缓冲区命中总数，以及指定索引上与 I/O 有关的统计信息。相关参数说明如下：参数 类型 描述 relid oid 索引基表的 OID。indexrelid oid 索引OID。schemaname name 索引...
对象
pg_statio_all_indexes 显示当前数据库中每个索引的磁盘块读取总数和缓冲区命中总数，以及指定索引上与 I/O 有关的统计信息。相关参数说明如下：参数 类型 描述 relid oid 索引基表的 OID。indexrelid oid 索引OID。schemaname name 索引...
常见报错
解决方案 参见 集群磁盘使用率过高和read_only问题的排查与处理方法，修复磁盘使用率过高的问题。执行以下命令，将集群中所有索引的 index.blocks.read_only_allow_delete 属性设置为null，使集群中不再存在read_only状态的索引。PUT_...
添加磁盘
说明 此处以添加一块磁盘为例，请根据业务需求添加磁盘数量。在Hyper-V端添加磁盘 通过IDE控制台添加磁盘需要重启设备，通过SCSI控制器添加磁盘无需重启设备，此处推荐使用SCSI控制器添加磁盘。登录Hyper-V部署平台。进入 硬件>SCSI控制台 ...
添加磁盘
说明 此处以添加一块磁盘为例，请根据业务需求添加磁盘数量。在Hyper-V端添加磁盘 通过IDE控制台添加磁盘需要重启设备，通过SCSI控制器添加磁盘无需重启设备，此处推荐使用SCSI控制器添加磁盘。登录Hyper-V部署平台。进入 硬件>SCSI控制台 ...
ALIYUN:ECS:AutoSnapshotPolicy
当您需要将自动快照策略应用于多块磁盘时，多块磁盘ID用["d-xxxxxxxxx","d-yyyyyyyyy",…"d-zzzzzzzzz"]的列表表示，磁盘ID之间用半角逗号（,）隔开。ResourceGroupId String 否 是 快照所属的资源组ID。无 Tags List 否 是 标签。最多支持...
块存储事件通知
d-bp1bwa*9ol4mi 附录：块存储系统事件对应的事件通知名称 影响 事件类型及代码 事件通知名称及代码 性能影响 云盘性能受到严重影响（Stalled）磁盘性能受到严重影响开始：Disk:Stalled:Executing 磁盘性能受到严重影响结束：Disk:Stalled:...
Windows实例弹性网卡配置失效处理方法
弹性网卡的网络配置失效一般出现在以下特殊场景中：创建ECS实例时挂载了多块磁盘，创建成功后进行磁盘和弹性网卡的交替热插拔，并重启ECS实例。创建ECS实例时绑定了一块辅助弹性网卡，创建成功后进行磁盘和弹性网卡的交替热插拔，并重启ECS...
RSS指标
FlushDataTimeMean rss_worker_metrics_FlushDataTime_Mean RSS Worker刷写一块磁盘缓冲区到磁盘的时间平均值。单位：毫秒。FlushDataTimeMax rss_worker_metrics_FlushDataTime_Max RSS Worker刷写一块磁盘缓冲区到磁盘的时间最大值。单位...
使用限制
常见问题处理 问题 建议 磁盘容量不足 因为EMR集群的Master节点不支持磁盘数量的增加，所以您可以在EMR控制台调大单块磁盘的容量，或扩容Core节点。磁盘容量过剩 因为EMR集群不支持磁盘容量缩容，所以您可以重新购买集群，详情请参见 创建...
使用快照（公测）
执行备份恢复操作后，整块磁盘会恢复到快照对应的某个时间点的状态，而不是某个分区或目录当时的状态。磁盘数据恢复成功后，您将收到界面返回提示，您可以查看数据恢复情况。删除快照 当您不再需要某一快照时，您可以手动删除。手动创建和...
交付环境要求说明
具体 要求如下：标准部署情况下，ADP底座要求每个Master节点至少具备3块磁盘（系统盘、etcd数据盘、共享数据盘），每个Worker节点至少具备2块磁盘（系统盘、共享数据盘），所有节点视业务需求挂载0~N块扩展数据盘。磁盘类型 数量要求 用途...
ESS（仅对存量用户开放）
为了提升整体的读写吞吐量，建议一块磁盘不多于2个目录。每个目录的Flush buffer所消耗堆内的内存为 ess.worker.flush.buffer.size*ess.worker.flush.queue.capacity，即 256 KB*512=128 MB。每个目录提供的槽位（slots）数量是该参数的...
按量计费
假设一个ECS实例有两块磁盘，为这个ECS实例所有磁盘的磁盘使用率（diskusage_used）设置智能阈值报警规则，该智能阈值报警规则对应两个监控指标时间序列，该报警规则执行30天的费用如下：费用=2个监控指标时间序列×24小时×30天×0.0025元...
ReportInstancesStatus-反馈一台或者多台ECS实例异常...
您可以反馈多台ECS实例发生的相同问题，也可以反馈一台ECS实例的多块磁盘发生的相同问题。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下...
API概览
DescribeDisks 查询已经创建的块存储 调用DescribeDisks查询一块或多块您已经创建的块存储（包括云盘以及本地盘）。AttachDisk 为实例挂载数据盘或系统盘 调用AttachDisk为一台ECS实例挂载一块按量付费数据盘，或者挂载一块系统盘。实例和...
出错提示S3磁盘分区数据同步出错
其中S3_*可能的错误码如下：S3_F30 S3_F32 S3_F6 S3_F4 S3_F40 S3_F70 问题原因 源系统SMC客户端进行磁盘分区块级别的数据同步时出错，可能原因有：S3_F30、S3_F32、S3_F6：源系统磁盘分区数据读取出错。S3_F4：源系统磁盘分区块数据网络...
出错提示S9磁盘分区头数据同步出错
其中S9_*可能的错误码如下：S9_F4 S9_F40 问题原因 源系统SMC客户端进行磁盘分区头块级别的数据同步时出错，可能原因有：S9_F4：源系统磁盘分区块数据网络同步中断。S9_F40：源系统到目标实例的IP:8703端口网络连接不通。解决方案 不同的...
为什么文件系统容量和快照大小不一致
文件系统在初始化阶段被写入大量数据块（Block，指磁盘的逻辑块地址LBA被块存储划分为相同大小的块），写入数据操作会占用磁盘空间。文件系统为了降低性能消耗，删除文件时只在文件属性中创建弃用标记。磁盘无法感知删除指令，数据块仍然是...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
镜像常见格式
镜像格式 镜像简介 镜像特点 QCOW2 QCOW2是QEMU实现的一种虚拟机镜像格式，是用一个文件的形式来表示一块固定大小的块设备磁盘。支持更小的磁盘占用。支持写时拷贝（CoW，Copy-On-Write），镜像文件只反映底层磁盘变化。支持快照，可以包含...
【新功能/规格】RDS MySQL通用云盘支持IO加速功能
IO加速功能开启后，您将可以免费使用一块高速磁盘（不可见）作为缓存。磁盘与内存的大小比例为 10:1。实例规格越大，使用的高速磁盘容量越大。示例：如果您的内存为2 GB，开启IO加速后高速磁盘缓存大小为20 GB。影响 开启IO加速的实例会...
SmartData 3.0.x版本简介
改进缓存块写入磁盘的选择策略，默认支持轮询（Round Robin）。改进读写流程，增强容错处理。提供JindoFS分层存储的Cache、Uncache和Status命令，允许缓存至指定目录，支持数据预加载，查看缓存进度和相关状态。优化小文件占用缓存空间的...
节点诊断
ECS实例云盘读写IOPS超过上限读写受限，请您降低磁盘的读写频率或升级为更高性能的云盘类型，有关云盘的读写性能指标，请参见 块存储性能。ECS实例磁盘加载情况 检查ECS实例在启动时云盘是否能正常挂载。云盘挂载失败，导致实例无法正常...
Pod诊断
Pod的部分容器进程处于D状态，通常为容器进程卡在磁盘IO中，请尝试重启宿主机ECS，如仍无法恢复，请 提交工单 处理。Pod初始化状态 检查Pod是否正常初始化。请检查Pod状态及日志。更多信息，请参见 Pod异常问题排查。Pod申请的GPU资源 检查...
存储说明
每块磁盘的配置、类型和容量都可以不同。磁盘角色 描述 系统盘 系统盘用于安装操作系统。E-MapReduce默认使用ESSD云盘作为集群的系统盘。系统盘默认是一块。数据盘 数据盘用于保存数据。Master实例默认挂载1块云盘作为数据盘，Core实例默认...
更换集群损坏的本地盘
例如，本文示例中坏掉的磁盘是 dev/vdd，所以需要删除该磁盘对应的记录。启动已停止的应用。在坏盘所在集群的 集群服务 页签找到 步骤二 中停止的EMR服务，选择目标服务区域的>启动 来启动目标服务。步骤三：换盘操作 在 ECS控制台 上修复...
BE参数配置
cumulative_size_based_promotion_min_size_mbytes 默认值：64 类型：Int32 说明：在size_based策略下，cumulative compaction的输出rowset总磁盘大小低于此配置大小，该rowset将不进行base compaction，仍然处于cumulative compaction流程...
回切至本地物理机
ECS限制每块磁盘的大小必须是整数GB。说明 当您把复制的物理机从云上拉起时：如果包含非整数GB的磁盘，我们会自动帮您扩充磁盘大小至整数GB（例如100.3 GB将扩充至101 GB）。如果扩充的是包含系统分区的磁盘，那么扩充的这部分空间会被ECS...
ECS服务器内操作出现卡顿的排查步骤
概述 本文主要介绍在ECS服务器内操作出现卡顿的排查步骤。详细信息 在ECS服务器内...检查磁盘是否有坏道，或内核消耗过大，查看是否有什么资源占用过大的进程或服务。查看是否有异常的进程，是否存在被攻击或入侵的症状。适用于 云服务器 ECS
使用限制
操作系统 版本 Windows Server 2008R2、2012、2012R2、2016 Linux 重要 Linux系统的/boot 分区和/分区必须在同一磁盘，若不满足同一磁盘要求，建议手动调整磁盘后，再注册受保护实例进行ECS容灾。Red Hat Enterprise Linux 7.0~7.9 Red Hat...
云盘异步复制容灾常见问题
ECS容灾云盘异步复制型支持容灾端变配吗 保护组在初始化阶段，且保护组磁盘数量和容量未超过的条件下，可以自动同步如新增磁盘的变配到容灾端。保护组复制和切换等状态下，生产端或容灾端的变配均存在影响容灾切换和恢复的风险，不支持两端...
ECS容灾常见问题
操作系统 版本 Windows Server 2008R2、2012、2012R2、2016 Linux 重要 Linux系统的/boot 分区和/分区必须在同一磁盘，若不满足同一磁盘要求，建议手动调整磁盘后，再注册受保护实例进行ECS容灾。Red Hat Enterprise Linux 7.0~7.9 Red Hat...
ECS容灾常见问题
操作系统 版本 Windows Server 2008R2、2012、2012R2、2016 Linux 重要 Linux系统的/boot 分区和/分区必须在同一磁盘，若不满足同一磁盘要求，建议手动调整磁盘后，再注册受保护实例进行ECS容灾。Red Hat Enterprise Linux 7.0~7.9 Red Hat...
集群规格选型
本地盘：本地盘即真实的物理盘，特点是价格比云盘便宜，但是本地盘大小与机型强绑定，不能对单块磁盘扩容，只能通过增加Core节点来增加存储容量，而且本地盘机型ECS也不支持升配，灵活性没有云盘强。同时，本地盘如果出现坏盘会对用户产生...
快照FAQ
文件系统在初始化阶段被写入大量数据块（Block，指磁盘的逻辑块地址LBA被块存储划分为相同大小的块），写入数据操作会占用磁盘空间。文件系统为了降低性能消耗，删除文件时只在文件属性中创建弃用标记。磁盘无法感知删除指令，数据块仍然是...
EMR Kafka磁盘故障运维
当检测或定位到磁盘故障时，可以考虑如下运维策略：Broker迁移：将Broker迁移到新的ECS实例，适合单个Broker只有一块数据盘的场景，详情请参见 Broker迁移方式。节点间分区迁移：将故障磁盘中的分区副本迁移到其他Broker，详情请参见 节点...
ECS系统事件汇总
Instance:SystemMaintenance.ReInitErrorDisk:Canceled：因系统维护重新初始化坏盘已取消 阿里云检测到ECS实例的本地磁盘出现软硬件损坏，并且更换了本地盘实例所在宿主机上损坏的本地盘后，立即发送该系统事件，通常在您授权隔离坏盘后五...
HDFS DiskBalancer介绍
不同于HDFS Balancer，HDFS Balancer负责集群范围内的数据平衡，HDFS Diskbalancer工具是对给定的DataNode进行操作，将块从一个磁盘移动到另一个磁盘。HDFS Diskbalancer的操作方式是创建一个计划（plan），然后在DataNode执行该计划。计划...
- 产品推荐
- 这些文档可能帮助您