数据导入常见问题
在Stream Load执行语句中加入-H"max_filter_ratio:0.01"，可以给导入作业设置一个1%或者更小、容错超过1行的容错率，从而将首行的错误忽视掉。您也可以根据实际数据量设置一个更小的容错率，但是要保证1行以上的容错。设置容错率后，返回...
配置网络
交换机所在的子网故障或子网中的IP地址已用尽，您可以在配置VPC时提供两个或者多个交换机ID，如果一个可用区出现故障，您的函数可以在其他可用区运行，提高容错能力。安全组配置错误，请您按照以下要求配置安全组。需要设置VPC中的安全组的...
RDS MySQL只读实例同步延迟原因与处理
解决方案 重要 如果对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。如果在阿里云平台授权或者...
RDS MySQL只读实例同步延迟原因与处理
解决方案 重要 如果对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。如果在阿里云平台授权或者...
黄牛账号识别之GraphCompute解决方案
什么是GraphCompute？GraphCompute 是一个分布式的、万亿级数据规模下、高性能、高稳定性的图查询和计算解决方案。同时，搭载智能运维和离线系统，实现湖仓一体化的数据打通，支持多版本数据快速迭代和管理能力。结合阿里巴巴在电商、安全...
使用COPY或UNLOAD命令导入或导出数据到OSS
当遇到这种情况时，可以通过额外的option选项设置实现容错。log_errors：表示是否记录错误行信息。segment_reject_limit：segment_reject_limit '10' 表示最多容忍10行，大于等于10行时报错退出；segment_reject_limit '10%' 表示当前的...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
StarRocks概述
本文为您介绍什么是StarRocks，以及StarRocks的特性和应用场景。StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用...
AIMaster：弹性自动容错引擎
本文为您介绍如何使用 DLC 提供的基于AIMaster的容错监控功能。背景信息 如今，深度学习已被广泛使用，随着模型和数据规模越来越大，常采用分布式方式运行深度学习任务。当同一个任务运行实例个数增大后，由于依赖的软件栈和硬件环境都有...
限制
不过，如果订阅者数据库预期有某种转换或者容错，那么序列需要被更新到最后的值，要么通过从发布者拷贝当前数据的防范（也许使用 pg_dump），要么从表本身决定一个足够高的值。支持 TRUNCATE 命令的复制，但是在截断由外键连接在一起的表...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
概述
分布式系统将计算任务和数据分布在多个节点上以实现更高的性能、可靠性和可扩展性，当一个节点发生故障或错误时，其他节点可以继续工作，相比于单机系统，架构本身就有较高的节点容错性。但随着服务拆分，更多组件的引入，分布式系统的复杂...
基础设施安全
AIMaster作为任务级别组件，当任务开启容错监控功能后，会拉起AIMaster实例，与任务其它实例一起运行，进行任务监控、容错判断、资源控制的作用。详细请参见 AIMaster：弹性自动容错引擎。算力健康检测 进行AI训练时，DLC提供算力健康检测...
计算资源
以下详细介绍5个计算资源风险点和应对的容错策略。资源分配不均 指因任务分配策略缺陷、长连接等问题造成的某些节点的负载过重，而其他节点的负载压力小。另外分布式系统中不同节点之间可能会竞争有限的计算资源，例如某个节点过度占用了...
什么是故障演练
故障演练是一款遵循混沌工程实验原理并融合了阿里巴巴内部实践的产品，提供丰富故障场景，能够帮助分布式系统提升容错性和可恢复性。流程 故障演练建立了一套标准的演练流程，包含准备阶段、执行阶段、检查阶段和恢复阶段。通过四阶段的...
SOFAStack 常见问题
SOFAStack 是否可以部署在虚拟机、物理机上？可以，SOFA 部署支持物理机、虚机 VM。SOFAStack 当前是否只支持阿里云容器服务 ACK？...SOFA 微服务支持客户端限流、集群容错，服务熔断、故障注入、服务降级等，保障服务高可用。
其他子产品SDK参考文档
基于AIMaster的容错监控 介绍 DLC 提供的基于AIMaster的容错监控功能，包括容错监控参数说明、通过SDK开启容错监控功能、通过AIMaster的SDK配置容错监控增强功能。DSW SDK文档入口链接 创建DSW实例 介绍如何通过Python SDK创建DSW实例。...
存储资源
以下详细介绍5个计算资源风险点和应对的容错策略。本地磁盘满 节点的本地磁盘空间不足，无法存储或处理更多的数据。常由日志配置不合理，磁盘容量不足等原因造成的，是比较常见的问题。可能造成数据丢失、系统崩溃等影响。常见的容错策略...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
读CSV文件
是否容错 输入数据与 Schema 中定义的不一致时，例如类型不一致或列数不一致的容错方法：打开 是否容错 开关：当解析失败时，丢弃该行数据。关闭 是否容错 开关：当解析失败时，运行终止，并打印出错行。引号字符 默认为半角双引号（"）。...
使用ASM构建分布式系统的容错能力
因此构建一个具有容错能力的分布式系统非常重要。本文介绍如何通过ASM设置超时、重试、隔板和熔断机制构建分布式系统的容错能力。背景信息 容错能力是指系统在部分故障期间，仍然能够继续运行的能力。创建一个可靠的弹性系统会对其中的所有...
使用ASM构建分布式系统的容错能力
因此构建一个具有容错能力的分布式系统非常重要。本文介绍如何通过ASM设置超时、重试、隔板和熔断机制构建分布式系统的容错能力。背景信息 容错能力是指系统在部分故障期间，仍然能够继续运行的能力。创建一个可靠的弹性系统会对其中的所有...
主备双活
毛刺对比 自动容错 主备双活中我们提供了自动容错能力，在故障场景下自动进行切换，做到故障对业务完全透明。通常需要进行主备集群切换的场景如下：断网断电等机房维度故障，无法正常链接主集群，请求全部抛错。由于软件BUG造成的全集群宕...
主备方案介绍
故障自动容错：主备双活功能提供故障自动容错能力，在故障场景下可以自动进行主备节点切换。通常需要进行主备集群切换的场景如下：机房出现断网断电等故障。无法正常连接主集群，请求全部报错。由于软件Bug导致全集群宕机。由于慢盘或者坏...
创建抢占式实例
ECI支持抢占式实例，对于短时间运行的Job任务，以及部分扩展性和容错率高的无状态应用，使用抢占式实例可以有效地节约实例使用成本。本文介绍如何创建抢占式ECI实例。背景信息 抢占式实例是一种低成本竞价型实例，您可以对阿里云当前闲置的...
SanityCheck：算力健康检测
在容错发生后：即当任务运行异常，AIMaster自动容错将任务重启后，进行算力健康检测。说明 选择该配置项时，必须打开 自动容错 功能。更多内容介绍，请参见 AIMaster：弹性自动容错引擎。最长检测时间 健康检测最长运行时间，默认为30分钟...
功能特性
微服务平台提供高性能和透明化的 RPC 远程服务调用，具有高可伸缩性、高容错性的特点。高性能分布式服务框架 提供高性能和透明化的 RPC 远程服务调用，具有高可伸缩性、高容错性的特点。支持多协议/多序列化/多语言 包括 Bolt（默认自由...
网络资源
常使用的容错策略如下：设备冗余：使用冗余的网络设备，如多个交换机、路由器等，通过冗余设备提供备用路径，当主路径出现闪断时，能够自动切换到备用路径，保持网络连接的稳定性。心跳检测：实施心跳检测机制，定期检测网络连接的状态和...
JobSettings
true EnableErrorMonitoringInAIMaster boolean 允许打开作业容错监控 false ErrorMonitoringArgs string 用户指定容错监控的配置参数，比如指定是否启动基于 log hang 的检测-enable-log-hang-detection true EnableRDMA boolean 允许作业...
使用闲时资源
自动容错 由于闲时计算任务在资源紧张时有被抢占的风险，为了优化这类任务的运行效率并提升整体算力的有效利用率，建议您开启 自动容错 功能。在闲时资源被回收的情况下，系统将自动寻找合适的资源，重新运行任务。具体配置方法，请参见 ...
网络类场景
帮助您在网络异常的情况下验证应用或服务的容错能力。网络延迟 网络延迟场景可以指定网络延迟因素（例如网卡、本地端口、远程端口、目标IP等）和延迟时间，对应用或服务注入网络调用延迟故障。验证网络延迟情况下系统的容错能力。表 1.参数...
应用场景
高可用：主备双活容灾，请求自动容错，满足99.95%SLA。金融&零售：海量订单记录与风控数据的实时存储 使用Lindorm存储金融交易中的海量订单记录，金融风控中的用户事件、画像特征、规则模型、设备指纹等重要数据，提供低成本、高并发、灵活...
DLC使用案例汇总
本文为您介绍 DLC 产品使用案例相关文档入口链接汇总。...基于AIMaster的容错监控 介绍如何使用 DLC 提供的基于AIMaster的容错监控功能。快速提交MPIJob训练任务 介绍如何在DLC中使用mpirun和Deepspeed方式来提交MPIJob类型的分布式训练任务。
ListRules-查询一个事件总线的所有规则
Mlm123456JHd2Rs*PushSelector string 发布选择器 PARAM_TRANSFORMER ErrorsTolerance string 容错策略。取值说明如下：ALL：允许容错。允许异常容错，当异常发生时不会阻塞执行，超过重试策略后会根据配置将消息投递至死信队列或直接丢弃...
ListTargets-查询一个事件规则的所有投递目标
允许异常容错，当异常发生时不会阻塞执行，超过重试策略后会根据配置将消息投递至死信队列或直接丢弃。NONE：禁止容错。不允许容错，当异常发生并超过重试策略配置时会阻塞执行。ALL Id string 事件目标 ID。1453 EventBusName string 事件...
- 产品推荐
- 这些文档可能帮助您