使用ASM构建分布式系统的容错能力

超时处理

原理介绍

当请求上游服务的时候，存在上游服务一直没有响应的现象。您可以设置一个等待时间，到达一个等待时间后，如果上游服务还是没有响应，直接请求失败，不再去等待上游服务。

通过设置超时，可以确保应用程序在后端服务无响应时可以收到错误返回，从而使其能够以适当的回退行为进行处理。超时更改的是发出请求的客户端等待响应的时间，对目标服务的处理行为没有影响。因此这并不意味着请求的操作失败。

解决方案

ASM支持在虚拟服务中为路由设置超时策略来更改超时值，如果Sidecar代理在设置的时间内未收到响应，则该请求将失败。通过这种方式调整超时，所有使用路由的请求都将使用该超时设置。

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: httpbin
spec:
  hosts:
  - 'httpbin'
  http:
  - route:
    - destination:
        host: httpbin
    timeout: 5s

timeout：设置超时时间，如果在设置的时间内请求的服务没有响应，则直接返回错误结果，不再等待。

重试机制

原理介绍

解决方案

ASM支持使用虚拟服务定义HTTP请求重试策略。以下示例定义网格中的服务请求httpbin应用时，如果httpbin应用无响应或与httpbin应用建立连接失败，会重新请求httpbin应用3次，每次的请求时间为5秒。

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: httpbin
spec:
  hosts:
  - 'httpbin'
  http:
  - route:
    - destination:
        host: httpbin
    retries:
      attempts: 3
      perTryTimeout: 5s
        retryOn: connect-failure,reset

您可以在retries结构中配置如下字段，自定义Sidecar对请求进行重试的行为。

配置默认HTTP请求重试策略

1. 登录ASM控制台，在左侧导航栏，选择服务网格 > 网格管理。

2. 在网格管理页面，单击目标实例名称，然后在左侧导航栏，选择网格实例 > 基本信息。

3. 在基本信息页面的配置信息区域，单击默认HTTP请求重试策略右侧的编辑。

4. 在默认HTTP请求重试策略对话框，配置相关信息，然后单击确定。

   配置项	说明
   重试次数	对应上文的attempts。在默认HTTP请求重试策略中，该字段可以配置为0，表示默认禁用HTTP请求重试。
   重试超时	对应上文的perTryTimeout。
   重试条件	对应上文的retryOn。

隔板模式

原理介绍

解决方案

ASM支持通过目标规则设置隔板模式，以下目标规则定义了其他服务请求httpbin应用时，最大并发连接数限制为1，每个连接最大请求数为1，最大请求重试次数为1，并且不能在10秒内建立连接的服务会得到503响应。

apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
  name: httpbin
spec:
  host: httpbin
  trafficPolicy:
    connectionPool:
      http:
        http1MaxPendingRequests: 1
        maxRequestsPerConnection: 1
      tcp:
        connectTimeout: 10s
        maxConnections: 1

• http1MaxPendingRequests：最大请求重试次数。

• maxRequestsPerConnection：每个连接最大请求数。

• connectTimeout：连接超时时间。

• maxConnections：最大连接数。

熔断机制

apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
  name: httpbin
spec:
  host: httpbin
  trafficPolicy:
    outlierDetection:
      consecutiveErrors: 3
      interval: 5s
      baseEjectionTime: 5m
      maxEjectionPercent: 100

配置主机级熔断指标采集及告警

配置完成上报主机级别的熔断指标后，您可以配置采集相关指标到Prometheus，并基于关键指标配置告警规则，实现熔断发生时的及时告警。以下以可观测监控Prometheus版为例说明如何配置主机级熔断指标采集和告警。

1. 在可观测监控Prometheus版中，为数据面集群接入阿里云ASM组件或升级至最新版，以保证可观测监控Prometheus版可以采集到暴露的熔断指标。有关更新接入组件的具体操作，参考接入组件管理。（如果参考集成自建Prometheus实现网格监控配置了通过自建Prometheus采集服务网格指标，则无需操作。）

2. 创建针对主机级熔断的告警规则。具体操作，请参见通过自定义PromQL创建Prometheus告警规则。配置告警规则的关键参数的填写示例如下，其余参数可参考上述文档根据自身需求填写。

   参数	示例	说明
   自定义PromQL语句	(sum (envoy_cluster_outlier_detection_ejections_active) by (cluster_name, namespace)) > 0	示例通过查询envoy_cluster_outlier_detection_ejections_active指标来判断当前集群中是否有正在被驱逐的主机，并将查询结果按照服务所在命名空间和服务名称进行分组。
   告警内容	触发级熔断，有工作负载连续发生错误，从服务负载均衡池中被驱逐！命名空间：{{$labels.namespace}}，驱逐发生的服务：{{$labels.cluster_name}}。驱逐数量：{{ $value }}	示例的告警信息展示了触发熔断的服务所在命名空间以及服务名称，以及当前该服务被驱逐的数量。