通过可观测性能力进行故障处理最佳实践
具体使用时可将这些指标大致分为以下三类：一级指标：建议将没有歧义的、可衡量业务正常运行的指标作为一级指标，这些指标出现异常则一定是业务链路出现问题，一般可用做监控报警项。例如，消息收发TPS超过规格限制可触发实例流控，您可以...
EMR Kafka磁盘故障运维
业务场景 Kafka将日志数据存储到磁盘中，当磁盘出现故障时，会导致磁盘IO能力下降、集群吞吐下降、消息读写延时或日志目录offline等问题。这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降，单块盘故障甚至有可能...
如何排查Java场景下故障注入不生效的问题
在对Java进程注入故障时，可能会出现故障注入失败的情况。为解决此类问题，在创建或编辑演练时，您可以在故障执行阶段选择开启Debug模式，并通过相关的日志信息来了解故障注入失败的原因。开启Debug模式 在查看目标演练的故障注入日志前，...
自动故障剔除
自动故障剔除功能会自动监控 RPC 调用的情况，当某个节点出现故障时，可对故障节点进行权重降级，并在节点恢复健康时进行权重恢复。目前支持 Bolt 协议。配置方式 将自动故障剔除的参数配置到 SOFABoot 中的 application.properties 即可。...
回切至本地物理机
如果扩充的是包含系统分区的磁盘，那么扩充的这部分空间会被ECS自动填充给系统分区，这样在恢复到本地的物理机时可能会出现分区越界的问题。如果系统分区相对源端机器被扩容，将会收缩相应的空间，确保和源端机器保持一致。反向注册。确认...
连接保持
当Proxy在新旧主节点中进行切换时，需要保留这个状态，否则会出现字符集乱码问题。所以连接保持的核心在于保证连接切换前后的会话状态一致。说明 当Proxy将连接从旧主节点切换到新主节点的过程中，会存在短暂的新老数据库同时不可写不可读...
围绕混沌工程的平台实践
可能会发生什么样的新问题？有哪些问题是正在解决中的？这些问题可以帮助您在设计演练流程时选择和系统业务有关的更优场景。为了帮助您选择合适的演练场景，AHAS Chaos在功能设计上做了以下两点：丰富的演练场景。首先在全面性上AHAS Chaos...
ack-node-repairer
当节点出现故障时，自愈系统会自动对故障所在节点触发相应的修复操作。当故障被修复后，NPD会修改故障状态，达到故障检测以及修复的闭环。运维人员也可以自定义需要采取修复操作的故障以及具体的修复操作。NPD是Kubernetes节点诊断的工具，...
步骤五：应用容灾
故障恢复 本机出现故障后在云上拉起本地业务，待本地环境恢复后再将其恢复到本地。具体步骤如下：在 主站点管理 页签，单击+添加。在 添加计算平台 页面，填写计算平台 名称，选择 类型，填写 IP地址、用户名 和 密码。单击 创建。在连续...
跨可用区容灾
警告 故障切换操作适用于被保护服务器已经出现严重故障的情形，进行该操作会停掉实时复制流程。您需要重新启动复制，并完成一次全量复制才能对被保护服务器继续进行容灾保护。按如下步骤进行故障切换：在 受保护服务器 页签，在要启动故障...
跨地域容灾
警告 故障切换操作适用于被保护服务器已经出现严重故障的情形，进行该操作会停掉实时复制流程。您需要重新启动复制，并完成一次全量复制才能对被保护服务器继续进行容灾保护。按如下步骤进行故障切换：在 受保护服务器 页签，在要启动故障...
跨地域容灾
警告 故障切换操作适用于被保护服务器已经出现严重故障的情形，进行该操作会停掉实时复制流程。您需要重新启动复制，并完成一次全量复制才能对被保护服务器继续进行容灾保护。故障切换步骤如下：在左侧导航栏，选择 连续复制型容灾>云上容...
跨可用区容灾
警告 故障切换操作适用于被保护服务器已经出现严重故障的情形，进行该操作会停掉实时复制流程。您需要重新启动复制，并完成一次全量复制才能对被保护服务器继续进行容灾保护。故障切换步骤如下：在左侧导航栏，选择 连续复制型容灾>云上容...
响应云盒维修事件
流程说明 运行中的ECS实例出现故障风险时，会向您发送ECS故障 事件（Reboot事件）通知，收到ECS故障事件通知后，您可以响应故障事件并按照建议进行处理，例如：将现有业务迁移到冗余资源保证业务正常运行，将出现故障风险的ECS实例作为备机...
节点诊断
节点文件系统只读状态 节点出现文件系统只读，通常是因为磁盘故障，会导致节点无法写入数据，可能造成业务异常。请尝试在节点上使用fsck命令修复文件系统，然后重启节点。节点硬件时间 检查节点硬件时钟与系统时间是否一致，时间相差超过2...
I-V曲线诊断
被遮挡的组件会出现热点效应（HotSpot），成为整个阵列的负载，从而在局部产生高温，导致组件烧毁损坏，进而产生严重安全隐患。会导致阵列的不均匀老化。组件老化过快，会影响整个阵列的性能和寿命。光伏阵列电阻老化 太阳能电池片存在着...
如何解决MSE Nacos实例域名无法解析的问题？
问题现象 当程序连接MSE Nacos出现实例域名无法解析时，可能会有如下几种报错。UnknownHostException No route to host Unable to resolve host 问题原因 应用节点所配置的DNS服务器或NameServer不正确，导致无法解析MSE域名。容器未使用宿...
故障演练常见问题
欢迎您反馈在使用故障演练过程中遇到的问题，目前提供以下常见问题供您参考。单个演练活动成功状态怎么判断？因为一个活动可能会有很多目标机器，当所有机器执行完毕之后，如果有机器没有执行成功，那么这个演练活动就会被系统判断为失败。...
故障排查
如果您在使用 ACK Serverless集群 时出现故障，可根据以下故障分类匹配故障场景和解决方案，帮助您快速排查问题，提升运维效率。分类 相关文档 集群资源和集群组件异常问题排查 集群检查项及修复方案（包括升级集群、迁移集群、安装组件、...
自动/手动主备切换
注意事项 不论是自动切换还是手动切换，当只读节点未开启热备时，主备切换过程中可能会出现20~30秒左右的闪断，因此切换前请务必确保应用具备重连机制；当只读节点开启了热备功能时，主备切换将在5~10秒内完成。关于如何开启只读节点的热备...
DDH生命周期
是 故障 稳定状态 DDH出现故障。您可以 提交工单 检查并处理问题。是 已过期 稳定状态 包年包月DDH到期时出现的状态。对DDH续费后，DDH的状态会变为 运行中。续费详情，请参见 手动续费DDH。是 已释放 稳定状态 包年包月DDH过期后自动释放...
异地应用双活切流
选择 故障单元，代表此时，该单元当前出现故障，无法承接流量，MSHA会自动将该单元的流量置0，将另一个单元置为100。b.单击 下一步，进入 容灾切换预览，在预览页，可以看到单元前后比例的对比，和 当前切流服务，如果和您预期不符，请返回...
设计方案
容错 容错是指在分布式系统中，系统出现故障时，通过设计和实现可靠的机制和策略，使系统能够自动检测、排除或者纠正错误，保证系统能够正常运行，从而提高系统的可靠性和稳定性。容量 容量是在一定时间内，系统能够处理的最大工作量或数据...
管理集群
主机故障处理策略 主机故障时，系统的处理策略：自动替换主机：系统会自动替换故障主机。说明 如果故障主机是云盘主机，云盘会自动迁移计算资源以自动替换主机。如果故障主机是非云盘主机，则系统会先将故障主机上的实例迁移走，然后自动...
管理集群
主机故障处理策略 主机故障时，系统的处理策略：自动替换主机：系统会自动替换故障主机。说明 如果故障主机是云盘主机，云盘会自动迁移计算资源以自动替换主机。如果故障主机是非云盘主机，则系统会先将故障主机上的实例迁移走，然后自动...
异地双活切流
选择 故障单元，代表此时该单元当前出现故障，无法承接流量，MSHA会自动将该单元的流量置0，将另一个单元置为100。b.单击 下一步，进入 容灾切换预览，在预览页，可以看到单元前后比例的对比，和 当前切流服务，如果和您预期不符，请返回 ...
强弱依赖治理概述
如果商品详情页对下游依赖是强依赖，例如当下游依赖 库存、优惠、物流 出现故障的时候，将导致业务流程无法推进，会出现类似如下的说明，严重影响用户体验。如果商品详情页对下游依赖是弱依赖，例如当下游依赖 评价、店铺 等系统出现故障的...
回切至本地VMware
本文主要介绍如何利用阿里云连续复制型容灾（CDR）服务，在本地虚拟机出现问题后把云上恢复出来的ECS回切到云下VMware环境中。前提条件 已部署CDR网关。更多信息，请参见 步骤三：部署CDR网关。已在被保护的Windows服务器上安装阿里云复制...
云解析DNS如何实现故障切换
全局流量管理支持IP地址健康检查功能，并会根据健康检查的结果，来判断运营商IP地址是否出现故障，如果出现故障，则会将域名解析切换到备份的运营商IP上，并最终帮用户实现自动故障转移的功效。请参阅 GTM实现跨网访问加速与故障切换 操作...
如何解决备份客户端OOM问题
背景信息 使用 云备份 备份数据时，在极端大数据量以及系统资源不足的备份场景，备份客户端会占用较多的系统资源，可能会出现OOM问题，即备份进程触发OOM被系统终止而导致备份失败。重要 当遇到OOM问题时，您可以根据实际情况为备份客户端...
迁移有潜在故障风险的DDH
如果一台DDH有潜在故障风险，其物理机处于可用状态，但随时可能出现故障，导致DDH中的ECS实例出现问题。您可以自主迁移有潜在故障风险的DDH到其他物理机，避免相关业务因DDH故障受到影响。前提条件 请先将DDH上的ECS实例全部停机，否则迁移...
网站耗资源（客户程序故障）常见问题
为什么会出现网站耗资源（客户程序故障）？常见的造成网站耗资源（客户程序故障）现象的原因如下所示：网站程序编写不合理，例如ASP程序变量没有清空。网站数据库调用频繁，例如当ACCESS数据库的容量比较大时（超过100 MB以上），性能可能...
故障演练
有损演练是指直接在线上真实业务环境注入异常进行演练，演练模拟的真实有效性高，为了平衡业务影响一般会选择最核心场景、在业务最低峰期做演练，而且演练频次相对较小，例如为了验证多活容灾能力的机房断网演练，一般是一个月一次的演练...
服务管控和治理
您可以根据检测的情况调整您的应用，以减少应用在正式使用时出现的异常问题。更多信息，请参见 故障注入。服务鉴权 服务提供者提供服务后，您可以通过服务鉴权功能对服务调用方进行鉴权。更多信息，请参见 服务鉴权。故障隔离 某个服务故障...
自助诊断GPU节点问题
ACK集群提供节点级别的GPU诊断功能，供您进行部分GPU相关问题的故障排查。如果您在ACK Pro版集群中使用GPU节点时遇到问题，可以启用GPU节点自助诊断，采集GPU诊断的基础指标进行问题排查。本文介绍如何使用节点诊断功能，自助排查GPU节点...
容灾演练断网方式说明
在实例进行主备切换时，业务可能会出现长连接闪断的情况，以此验证业务是否具备失效重连机制。使用场景 部分业务或大规模业务实例不可用。Redis、RDS云服务高可用实例部分不可用。使用限制 安全组断网只针对新建立的网络连接进行阻断，并不...
基础设施安全
各可用区之间可以实现故障隔离，即如果一个可用区出现故障，不会影响其他可用区的正常运行。每个地域完全独立，不同地域的可用区完全隔离，但同一个地域内的可用区之间使用低时延链路相连。弹性自动容错 PAI提供基于AIMaster的容错监控能力...
诊断网页加载过慢的问题
问题描述 网页加载较慢是经常出现且前端非常关注的问题之一。定位、排查解决这类问题的难点如下：复现困难 假设您的一位用户是A，当A访问某网页时，该页面会加载在A本地的浏览器上。由于页面的加载耗时受地域、网络情况、浏览器或者运营商...
主备切换
但在切换过程中，会出现以下情况：执行切换的数据节点将出现秒级的连接闪断，可能还会出现30秒内的只读状态。在实例处于 切换中 状态时，将无法执行实例级别的操作（例如变更配置、迁移可用区等）。当实例完成主备切换后，实例状态会显示为...
主备切换
但在切换过程中，会出现以下情况：执行切换的数据节点将出现秒级的连接闪断，可能还会出现30秒内的只读状态。在实例处于 切换中 状态时，将无法执行实例级别的操作（例如变更配置、迁移可用区等）。当实例完成主备切换后，实例状态会显示为...
- 产品推荐
- 这些文档可能帮助您