使用SLS在日志写入时脱敏LLM应用的敏感数据

步骤一：配置机器组（安装LoongCollector）

在完成准备工作后，为不同类型的服务器安装LoongCollector并将其加入机器组。

配置步骤：

1. 在日志库页面，单击目标Logstore名称前的展开。

2. 单击数据接入后的，在快速数据接入弹框中，选择单行-文本日志，单击立即接入。

3. 在机器组配置页面，配置如下参数：

   • 使用场景：主机场景

   • 安装环境：ECS

   • 配置机器组：根据目标服务器的LoongCollector安装情况与机器组配置状态，选择对应操作：

     • 已安装LoongCollector且已加入某个机器组，直接在源机器组列表中勾选，将其添加至应用机器组列表，无需重复创建。

     • 未安装LoongCollector，单击创建机器组：

       以下步骤将引导您完成LoongCollector的一键自动安装并创建机器组。

       1. 系统会自动列出与 Project 同地域的 ECS 实例，勾选需要采集日志的一台或多台实例。

       2. 单击安装并创建为机器组，系统将自动在所选ECS实例上安装LoongCollector。

       3. 配置机器组名称并单击确定。

       说明

       如果安装失败或一直处于等待中，请检查ECS地域是否与Project相同。

4. 检查心跳状态：单击下一步，页面出现机器组心跳情况。查看心跳状态，若为OK表示机器组连接正常，单击下一步，进入Logtail配置页面。

   若为FAIL，可能是初次建立心跳需要花费一些时间，请等待两分钟左右，再刷新心跳状态。若刷新后仍为FAIL，请参考心跳异常问题汇总排查。

步骤二：配置日志采集

完成LoongCollector安装和机器组配置后，进入Logtail配置页面，定义日志采集和处理规则。

步骤三：配置写入侧脱敏规则

针对本文电商Copilot日志，在对应的Project中新建数据处理器，即可智能识别并对IP地址、邮箱等敏感内容进行脱敏。其中手机号、身份证号、信用卡号、姓名以及地址信息，定制化地保留前后缀。详细配置介绍可参见无需复杂正则：SLS 新脱敏函数让隐私保护更简单高效。

SLS提供的mask（脱敏）函数，支持内置和关键字匹配两种模式，能高效、精准地识别并脱敏日志中的敏感信息：

• 内置匹配（buildin）：mask函数开箱即用，内置了对常见6种敏感信息（如手机号、身份证、邮箱、IP地址、座机电话、银行卡号）的识别能力。

• 关键字匹配（keyword）：智能识别任意文本中符合"key":"value"、'key':'value'或key=value 等常见 KV 对格式的敏感信息。

1. 在左侧导航栏，选择资源 > 数据处理器。

2. 在写入处理器页签下，单击创建，进行如下配置：

   • 处理器名称：自定义处理器名称，例如脱敏处理。

   • 处理失败：保留原始数据。

   • SPL：

     * | extend content = mask (content,' [
     {"mode":"buildin","types":["IP_ADDRESS","EMAIL", "LANDLINE_PHONE"]},
     {"mode":"buildin","types":["PHONE","IDCARD","CREDIT_CARD"],"maskChar":"*","keepPrefix":3,"keepSuffix":4},
     {"mode":"keyword","keys":["address"],"maskChar":"*","keepPrefix":3,"keepSuffix" :1},
     {"mode":"keyword","keys":["name"],"maskChar":"*","keepPrefix":1}]')

3. 调试SPL脱敏脚本，脚本无误后，单击保存。

步骤四：关联写入处理器并查看日志

1. 在左侧导航栏，选择日志存储，单击目标Logstore名称前的展开。

2. 单击，在Logstore属性页面，单击写入处理器。

3. 单击修改，选择新建的写入处理器，并保存。

4. 单击右上角的查询分析，查看处理后的日志。脱敏前后日志对比：

对比脱敏前的数据可以看到：

• 按需保留，安全与可用性兼顾： 针对不同敏感字段，可定制化保留前后缀字符。手机号保留前三后四位，既保护了用户隐私，又方便运维人员进行问题排查和用户身份核验，在保障安全的同时兼顾了数据可用性。

• 配置极简，无需正则：关键字匹配模式下，即使数据嵌套多层 JSON 结构，也只需配置最内层的 Key 即可精准匹配 Value 进行脱敏，同时无需编写复杂的正则表达式来兼容各种 key:value 对格式，大大降低了配置难度。中文精准脱敏：  姓名与地址精确按照配置的规则进行打码，避免因编码问题导致脱敏失效。

此外，mask函数相较于使用正则表达式进行脱敏，在性能上具有显著优势，可有效降低日志处理延迟，提升整体性能。尤其是在复杂或者数据量巨大的场景下，性能优势更为明显。

运维工程师：定位

对于运维团队来说，以往排障往往依赖包含用户手机号、地址、账户号的明文日志，这在合规上存在高风险。 现在，脱敏后的日志让这一过程从源头安全化，在问题定位场景中通过trace_id 检索即可复原整个调用链：

• 从 Copilot 的意图识别开始；

• 到订单服务 → 退款服务 → 第三方支付网关；

• 再到返回结果与耗时。

需要核对用户身份时，日志里只保留了脱敏后的银行卡号、手机号等信息，足以和业务侧“同一用户”比对，而不会暴露原值。即便是跨团队协查，也能直接在脱敏日志上定位问题，避免泄露风险。

运营团队：分析

报表的价值在于发现整体趋势，而非窥探个人信息。在脱敏运营报表中，用户信息已匿名化处理，仅保留关键业务指标，助力团队从数据中挖掘洞察。

从报表中，运营团队可以快速了解：

• 整体概况： UV、PV 等关键指标，Copilot 交互次数，以及咨询总量，快速掌握运营概况。

• 咨询分类：退款、商品、物流咨询占比，清晰了解用户关注点。

• 问题分类：掌握用户提问的侧重点，如功能、价格、规格等。

• 重复咨询率：衡量服务质量，快速定位需要优化的环节。

• 用户行为：咨询后购买转化漏斗，以及热门咨询关键词，助力优化产品和营销策略。

• 重点用户： Top 10 咨询用户，虽然用户信息脱敏，但可通过 VIP 等级和咨询次数，制定差异化服务策略。

此外，报表中所有用户信息都经过脱敏处理，电话号码、姓名等个人信息均被掩码，确保无法反推到具体用户，充分保障用户隐私。

安全与合规团队：审计

对安全与合规团队而言，日志的最大风险在于“存量明文”。 本文中的脱敏方案将脱敏前置：数据在写入前已被处理，这从根本上消除了敏感数据脱敏覆盖不全与导出明文数据的可能。此外，SLS还提供完善的合规支撑能力：

• 数据存储：支持自定义日志存储时间，对网络审计相关日志设置>180天的存储天数，满足安全审计要求。

• 数据操作审计：日志使用过程中会存在用户级操作行为，这些不管是管控层面的控制台操作、OpenAPI 调用，或者数据面的业务日志使用，任何人查看、分析、导出日志，都只在授权范围内看到应当看到的内容。同时CloudLens for SLS还提供Project、Logstore的资产使用监控。