使用ASM LLMProxy插件保障用户数据安全

步骤一：部署客户端应用

通过kubectl连接到ASM实例添加的Kubernetes集群，使用以下内容创建sleep.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: sleep
---
apiVersion: v1
kind: Service
metadata:
  name: sleep
  labels:
    app: sleep
    service: sleep
spec:
  ports:
  - port: 80
    name: http
  selector:
    app: sleep
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sleep
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sleep
  template:
    metadata:
      labels:
        app: sleep
    spec:
      terminationGracePeriodSeconds: 0
      serviceAccountName: sleep
      containers:
      - name: sleep
        image: registry.cn-hangzhou.aliyuncs.com/acs/curl:8.1.2
        command: ["/bin/sleep", "infinity"]
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - mountPath: /etc/sleep/tls
          name: secret-volume
      volumes:
      - name: secret-volume
        secret:
          secretName: sleep-secret
          optional: true
---

执行以下命令部署Sleep应用。

kubectl apply -f sleep.yaml

步骤二：创建ServiceEntry以及DestinationRule

由于LLM服务在网格外部，想要外部服务可以被网格管理，您需要手动创建一个集群外服务（ServiceEntry）将服务注册到网格中。具体操作，请参见创建集群外服务。

在这里，我们使用ServiceEntry将模型服务灵积注册至ASM中。对应YAML如下：

apiVersion: networking.istio.io/v1beta1
kind: ServiceEntry
metadata:
  name: dashscope
  namespace: default
spec:
  hosts:
    - dashscope.aliyuncs.com
  ports:
    - name: http-port
      number: 80
      protocol: HTTP
      targetPort: 443    # 和Destination配合使用，用于将HTTP协议升级为HTTPS
    - name: https-port
      number: 443
      protocol: HTTPS
  resolution: DNS

为了让Sidecar能够将访问灵积服务80端口的HTTP协议升级为HTTPS，这里需要再配置一个对应的目标规则，对应YAML如下：

apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
  name: dashscope
  namespace: default
spec:
  host: dashscope.aliyuncs.com
  trafficPolicy:
    portLevelSettings:
    - port:
        number: 80
      tls:
        mode: SIMPLE

执行以下命令，确认Sidecar已经完成HTTP到HTTPS的协议升级。

kubectl exec deploy/sleep -- curl -v 'http://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions' \
--header 'Authorization: Bearer ${dashscope API_KEY}' \
--header 'Content-Type: application/json' \
--header 'user: test' \
--data '{
    "model": "qwen-turbo",
    "messages": [
        {"role": "user", "content": "你是谁"}
    ],
    "stream": false
}'

预期输出：

{"choices":[{"message":{"role":"assistant","content":"我是来自阿里云的大规模语言模型，我叫通义千问。"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":10,"completion_tokens":16,"total_tokens":26},"created":xxxxxxxx,"system_fingerprint":null,"model":"qwen-turbo","id":"xxxxxxxxxxxxxxxxxx"}

步骤三：配置LLMProxy插件

使用以下内容创建WasmPlugin.yaml。

apiVersion: extensions.istio.io/v1alpha1
kind: WasmPlugin
metadata:
  name: asm-llm-proxy
  namespace: default
spec:
  imagePullPolicy: Always
  phase: AUTHN
  selector:
    matchLabels:
      app: sleep
  url: registry-cn-hangzhou.ack.aliyuncs.com/test/asm-llm-proxy:v0.2
  pluginConfig:
    api_key: ${dashscope的API_KEY}
    deny_patterns:
    - .*账号.*     # 禁止包含“账号”两个字的message被发往外部大模型
    hosts:
    - dashscope.aliyuncs.com    # 该插件只对host为dashscope.aliyuncs.com的请求生效
    intelligent_guard:   # 配置一个私有LLM服务，对请求进行敏感信息验证。
      # 本文为了验证方便，依然调用灵积服务来对请求进行验证。
      api_key: ${dashscope的API_KEY}
      host: dashscope.aliyuncs.com
      model: qwen-turbo
      path: /compatible-mode/v1/chat/completions
      port: 80  # serviceentry中的HTTP端口

pluginConfig配置说明。

intelligent_guard是OpenAI的标准接口，用于判定发往LLM模型的请求是否包含敏感信息。如果被私有大模型判定为包含敏感信息，请求将会被拒绝，并返回具体原因。本示例中为了演示方便，仍旧调用了模型服务灵积。

执行以下命令，创建WasmPlugin。

kubectl apply -f WasmPlugin.yaml

示例测试

1. 执行以下命令，测试不携带API_KEY的请求可以正常访问LLM服务。

   kubectl exec deploy/sleep -- curl 'http://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions' \
   --header 'Content-Type: application/json' \
   --data '{
       "model": "qwen-turbo",
       "messages": [
           {"role": "user", "content": "你是谁"}
       ],
       "stream": false
   }'

   预期输出：

   {"choices":[{"message":{"role":"assistant","content":"我是来自阿里云的大规模语言模型，我叫通义千问。"},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":10,"completion_tokens":16,"total_tokens":26},"created":xxxxxxx,"system_fingerprint":null,"model":"qwen-turbo","id":"xxxxxxxxx"}

2. 执行以下命令，测试携带敏感词“账号”的请求会被拒绝。

   kubectl exec deploy/sleep -- curl 'http://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions' \
   --header 'Content-Type: application/json' \
   --data '{
       "model": "qwen-turbo",
       "messages": [
           {"role": "user", "content": "我喜欢吃豆沙粽子，我的QQ账号是1111111"}
       ],
       "stream": false
   }'

   预期输出：

   request was denied by asm llm proxy

3. 测试携带了敏感信息，但是不在deny_patterns中。观察intelligent_guard能发识别敏感信息并拦截请求。

   kubectl exec deploy/sleep -- curl -s 'http://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions' \
   --header 'Content-Type: application/json' \
   --data '{
       "model": "qwen-turbo",
       "messages": [
           {"role": "user", "content": "我们公司将会在9月10日举行内部高级别会议，会议主题是如何更好的服务客户，请给我一份会议开场白。"}
       ],
       "stream": false
   }'

   输出如下：

   

   可以看到，LLM模型成功识别到当前请求中可能存在敏感信息，LLMProxy插件会拒绝该请求继续发往外部LLM服务。在生产环境中，判定请求是否有敏感信息的模型需要私有化部署，这样可以确保敏感信息不泄漏。