使用RateLimitingPolicy实现分用户限流场景

更新时间: 2024-06-27 18:16:23

ASM流量调度套件提供了精细化的限流策略,可以实现对进入指定服务的流量进行全局限流、分用户限流、设置突发流量窗口、自定义请求token消耗速率等高级限流功能。本文介绍如何使用流量调度套件提供的RateLimitingPolicy来支持分用户限流场景。

背景信息

ASM流量调度套件的限流策略采用令牌桶算法。系统以固定速率生成令牌(tokens),并加入到令牌桶中,直到容量上限。服务间的请求需要消耗tokens才能发送成功,如果桶中有足够的tokens,请求发送时将消耗token;如果没有足够的tokens,请求可能会被排队或丢弃。此算法可以保证数据传输的平均速率不会超过token的生成速率,同时又能应对一定程度的突发流量。

image

前提条件

准备工作

部署httpbin和sleep示例服务,并验证sleep服务能否正常访问httpbin服务。

  1. 使用以下内容创建httpbin.yaml。

    展开查看YAML内容

    ##################################################################################################
    # httpbin Service示例。
    ##################################################################################################
    apiVersion: v1
    kind: ServiceAccount
    metadata:
      name: httpbin
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: httpbin
      labels:
        app: httpbin
        service: httpbin
    spec:
      ports:
      - name: http
        port: 8000
        targetPort: 80
      selector:
        app: httpbin
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: httpbin
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: httpbin
          version: v1
      template:
        metadata:
          labels:
            app: httpbin
            version: v1
        spec:
          serviceAccountName: httpbin
          containers:
          - image: registry.cn-hangzhou.aliyuncs.com/acs/httpbin:latest
            imagePullPolicy: IfNotPresent
            name: httpbin
            ports:
            - containerPort: 80
  2. 执行以下命令,创建httpbin应用。

    kubectl apply -f httpbin.yaml -n default
  3. 使用以下内容创建sleep.yaml。

    展开查看YAML信息

    ##################################################################################################
    # Sleep Service示例。
    ##################################################################################################
    apiVersion: v1
    kind: ServiceAccount
    metadata:
      name: sleep
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: sleep
      labels:
        app: sleep
        service: sleep
    spec:
      ports:
      - port: 80
        name: http
      selector:
        app: sleep
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: sleep
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: sleep
      template:
        metadata:
          labels:
            app: sleep
        spec:
          terminationGracePeriodSeconds: 0
          serviceAccountName: sleep
          containers:
          - name: sleep
            image: registry.cn-hangzhou.aliyuncs.com/acs/curl:8.1.2
            command: ["/bin/sleep", "infinity"]
            imagePullPolicy: IfNotPresent
            volumeMounts:
            - mountPath: /etc/sleep/tls
              name: secret-volume
          volumes:
          - name: secret-volume
            secret:
              secretName: sleep-secret
              optional: true
    ---
  4. 执行以下命令,创建sleep应用。

    kubectl apply -f sleep.yaml -n default
  5. 执行以下命令,进入sleep应用Pod。

    kubectl exec -it deploy/sleep -- sh
  6. 执行以下命令,向httpbin服务发送请求。

    curl -I http://httpbin:8000/headers

    预期输出:

    HTTP/1.1 200 OK
    server: envoy
    date: Tue, 26 Dec 2023 07:23:49 GMT
    content-type: application/json
    content-length: 353
    access-control-allow-origin: *
    access-control-allow-credentials: true
    x-envoy-upstream-service-time: 1

    返回200 OK,表明访问成功。

步骤一:创建RateLimitingPolicy限流规则

  1. 使用kubectl连接到ASM实例,具体操作,请参见通过控制面kubectl访问Istio资源

  2. 使用以下内容,创建ratelimitingpolicy.yaml文件。

    apiVersion: istio.alibabacloud.com/v1
    kind: RateLimitingPolicy
    metadata:
      name: ratelimit
      namespace: istio-system
    spec:
      rate_limiter:
        bucket_capacity: 2
        fill_amount: 2
        parameters:
          interval: 30s
          limit_by_label_key: http.request.header.user_id
        selectors:
        - agent_group: default
          control_point: ingress
          service: httpbin.default.svc.cluster.local

    部分字段说明如下。关于字段的更多信息,请参见RateLimitingPolicy CRD说明

    字段

    说明

    fill_amount

    在interval指定的时间间隔内填充令牌的数量。示例中指定为2,即每过interval指定的时间间隔后便向令牌桶填充2个令牌。

    interval

    向令牌桶中填充令牌的时间间隔。示例中指定为30s,即每过30秒后便向令牌桶填充2个令牌。

    bucket_capacity

    令牌桶内的令牌数量上限。当请求速率小于令牌桶填充速率时,令牌桶内的令牌数量会持续增加,最大将达到bucket_capacity。使用bucket_capacity可以容许一定程度的突发流量。示例中设置为2,和fill_amount相同,即不允许任何突发流量。

    limit_by_label_key

    指定限流策略使用什么请求标签进行分组,指定后,不同标签的请求将分别进行限流,拥有相互独立的令牌桶。示例中使用http.request.header.user_id,其意义是使用请求的user_id 请求头进行分组,模拟了分用户限流的场景。示例中假设不同的用户发起的请求拥有不同的used_id请求头。

    selectors

    指定应用限流策略的多个服务。示例中使用service: httpbin.default.svc.cluster.local表示对httpbin.default.svc.cluster.local服务进行限流。

  1. 执行以下命令,创建RateLimitingPolicy限流规则

    kubectl apply -f ratelimitingpolicy.yaml

步骤二:验证分用户限流效果

  1. 使用ACK集群的kubectl执行以下命令,进入sleep应用开启bash。

    kubectl exec -it deploy/sleep -- sh
  2. 执行以下命令,使用user1身份连续访问httpbin服务的/headers路径两次。

    curl -H "user_id: user1" httpbin:8000/headers -v
    curl -H "user_id: user1" httpbin:8000/headers -v

    预期输出:

    < HTTP/1.1 429 Too Many Requests
    < retry-after: 14
    < date: Mon, 17 Jun 2024 11:48:53 GMT
    < server: envoy
    < content-length: 0
    < x-envoy-upstream-service-time: 1
    <
    * Connection #0 to host httpbin left intact
  3. 在第2步执行后的30秒内,执行以下命令,使用user2身份访问httpbin服务的/headers路径一次。

    curl -H "user_id: user2" httpbin:8000/headers -v

    预期输出:

    < HTTP/1.1 200 OK
    < server: envoy
    < date: Mon, 17 Jun 2024 12:42:17 GMT
    < content-type: application/json
    < content-length: 378
    < access-control-allow-origin: *
    < access-control-allow-credentials: true
    < x-envoy-upstream-service-time: 5
    <
    {
      "headers": {
        "Accept": "*/*",
        "Host": "httpbin:8000",
        "User-Agent": "curl/8.1.2",
        "User-Id": "user2",
        "X-Envoy-Attempt-Count": "1",
        "X-Forwarded-Client-Cert": "By=spiffe://cluster.local/ns/default/sa/httpbin;Hash=ddab183a1502e5ededa933f83e90d3d5266e2ddf87555fb3da1ad40dde3c722e;Subject=\"\";URI=spiffe://cluster.local/ns/default/sa/sleep"
      }
    }
    * Connection #0 to host httpbin left intact

    可以看到user2访问相同的路径并未触发限流,证明分用户限流成功。

上一篇: 使用ASM流量调度套件进行分布式系统流量控制 下一篇: RateLimitingPolicy CRD说明
阿里云首页 服务网格 相关技术圈