安全支柱

理由

输入是AI系统的第一道接触面。与传统应用的参数校验不同，AI系统的输入是自然语言文本，其"恶意"不体现为格式错误而体现为语义层面的攻击意图。但基础层面的格式校验仍然是必要的第一道过滤——它能以极低成本拦截一类简单但常见的攻击尝试。

实施指引

长度限制：对用户输入设置合理的Token数上限。过长的输入不仅增加推理成本，也是常见的注入载体（攻击者通过大量填充文本来"推远"系统提示词的影响）。根据业务场景设定合理阈值，如对话场景2048 Token、文档分析场景8192 Token。超限输入直接拒绝并返回提示。

编码归一化：将输入统一归一化为标准UTF-8编码，去除零宽字符（Zero-Width Characters）、不可见Unicode控制字符、同形异构字符（Homoglyphs）。攻击者常利用这些特殊字符绕过关键词检测——例如在"忽略"两字之间插入零宽字符使其不被规则引擎匹配但仍被模型正常理解。归一化须在任何后续处理之前完成。

攻击模式检测：维护已知攻击模式的特征库，通过正则匹配和语义分类双重机制检测。正则匹配处理结构化的攻击模式（如"ignore previous instructions""system prompt:"等常见注入前缀），语义分类模型处理表述变体。特征库持续更新，纳入安全社区公开的新攻击手法和企业自身发现的攻击尝试。

反模式：仅依赖关键词黑名单进行输入过滤。自然语言的同义替换、多语言混用、隐喻暗示等方式可轻易绕过简单的关键词匹配。另一常见反模式是对输入不做任何校验直接送入模型，完全依赖模型自身的安全对齐来抵御攻击。

阿里云实现：百炼平台的应用配置中支持设定输入长度限制和内容安全策略。结合AI安全护栏的托管和自定义规则，可将明显的攻击请求拦截在到达AI服务之前。

理由

单一防御层无论多强都存在被绕过的可能。纵深防御（Defense in Depth）是安全工程的基本原则——在AI场景中意味着在模型前和模型后各部署独立的安全检测层，使攻击者需要同时绕过多道防线才能成功。

实施指引

模型前过滤（Pre-Model）：部署独立于主业务模型的轻量级安全分类器，对用户输入进行风险评估。分类维度包括：注入攻击概率、有害内容类别、敏感话题识别。安全分类器与主模型之间无参数共享，确保攻击者无法通过一种手法同时绕过两者。分类结果分为"阻断""告警""放行"三级，阻断类直接返回标准拒绝回复，告警类附加额外的安全约束后放行（如在系统提示中追加强化安全指令），放行类正常处理。

模型后审核（Post-Model）：对模型输出进行安全检测，使用与前置过滤不同的审核模型或规则集。后置审核的检测维度更广，不仅包括有害内容，还包括：隐私信息泄露（检测输出中是否包含手机号、身份证号等模式）、版权内容复制（检测大段与已知受保护文本相似的输出）、事实性风险标记（对涉及法规条文、医疗建议、金融数据等高风险领域的输出进行标记）。

两层之间保持独立性——使用不同的模型架构、不同的训练数据、不同的更新节奏，避免系统性偏差导致两层被同一手法同时绕过。

反模式：仅在模型前或仅在模型后部署单层安全检测。仅有前置过滤时，模型可能在复杂的多轮对话中被逐步诱导产生有害输出（即便每一轮输入单独看都不违规）；仅有后置审核时，恶意输入已经到达模型并可能影响模型内部状态（如对话历史被污染）。

阿里云实现：AI安全护栏同时支持输入检测和输出审核两个阶段，且可配置不同的策略强度。对于需要更精细控制的场景，可将阿里云内容安全API独立调用，在应用代码中显式编排前置和后置两道检测逻辑。WAF层可作为第零层，在HTTP请求级别拦截明显的攻击流量。

理由

生成式AI的核心风险之一是幻觉——模型可能以高度自信的语气输出完全虚构的信息。在RAG场景中，输出应有据可查，即模型生成的内容应能追溯到知识库中的具体来源。输出溯源校验的目标是验证模型是否"忠实"于检索到的参考信息，而非凭空编造。

实施指引

引用验证：要求模型在涉及事实性陈述时给出引用来源（如知识库文档ID和段落定位），然后在输出后处理阶段验证引用的有效性——引用的文档是否存在、引用的段落内容是否支持模型的陈述。对于引用无效或引用内容不支持结论的情况，标记为低可信度输出并触发补充声明。

事实性评分：对涉及数据、法规、技术规格等客观事实的输出，通过独立的验证模型或规则引擎进行事实性评分。评分低于阈值的输出附加不确定性声明（如"以上信息仅供参考，请以官方来源为准"），或触发人工审核流程。

检索回溯：在RAG场景中，记录每次生成所依赖的检索结果，建立"输出→检索结果→源文档"的完整链条。当用户对输出准确性提出质疑时，可快速回溯到源头进行验证。

反模式：完全不对模型输出做事实性验证，或仅在输出末尾附加通用免责声明了事。对于涉及法律咨询、医疗建议、金融决策等高风险场景，缺失溯源校验可能导致严重的合规和信任风险。

阿里云实现：百炼的RAG应用支持配置引用来源展示，在生成结果中附带知识库来源引用。结合日志服务记录每次推理的完整上下文（包括检索结果），可在事后进行溯源分析。

理由

AI系统处理的数据来源广泛、敏感度各异。混合存储不同敏感等级的数据并统一开放访问权限，是数据泄露的主要根因之一。数据分级不是一次性标注动作，而是需要贯穿数据全生命周期的动态管理。

实施指引

建立AI数据分级标准，至少区分四级：公开数据（可自由用于训练和检索）、内部数据（限组织内使用，如内部知识库）、敏感数据（含PII或业务机密，使用受限）、高密数据（核心商业秘密或受法规特殊保护的数据，原则上不应进入AI系统）。

对向量库实施分级隔离——不同安全等级的数据存入不同的向量库实例或不同的Collection，配置独立的访问控制策略。避免在同一向量库中混存不同密级的数据，否则语义检索可能跨越安全边界返回高密级内容。

对推理服务实施基于数据分级的访问控制：用户的权限等级决定其可检索的数据范围。例如普通员工的提问仅检索公开和内部级别的知识库，管理层可检索至敏感级别。权限判定在检索阶段完成，而非在生成阶段依赖模型自行判断（模型不可靠）。

反模式：将所有数据统一灌入一个大的向量库，通过prompt指令告诉模型"不要回答涉密内容"。模型指令遵循不是安全边界，任何提示词注入都可能绕过这一"防线"。

阿里云实现：DataWorks提供自动化的数据分级标注能力，可集成至数据入湖流程。百炼知识库支持多知识库隔离配置，不同应用可绑定不同的知识库实现数据边界。RAM策略控制不同角色对不同知识库的访问权限。

理由

企业内部的AI平台往往服务多个业务线或多个租户。若缺乏有效的租户隔离，一个租户的数据可能通过模型的上下文窗口或共享缓存泄露到另一个租户。在SaaS模式下，租户隔离更是基本的安全承诺。

实施指引

会话级隔离：确保每个会话/请求的上下文完全独立，不共享对话历史、系统提示或检索结果。在使用长期记忆（Memory）功能时，记忆存储须按租户/用户隔离，禁止跨用户的记忆读取。

推理资源隔离：对于安全要求高的租户，提供独占的推理实例（非共享GPU），避免通过侧信道攻击获取同一物理设备上其他租户的推理信息。PAI-EAS支持独占实例部署模式。

知识库隔离：不同租户的知识库数据物理或逻辑隔离。逻辑隔离通过元数据过滤实现（检索时强制附加tenant_id过滤条件），物理隔离通过独立的向量库实例实现。高安全场景推荐物理隔离。

反模式：多租户共享同一个大的向量库，仅通过应用层代码添加租户过滤条件。若应用层存在缺陷（如某个API端点遗漏了租户过滤），即可跨租户访问数据。

阿里云实现：百炼支持按应用维度隔离知识库和对话上下文。PAI-EAS支持专属资源组部署，提供计算层面的资源隔离。结合RAM的条件策略，可实现精细的租户级权限控制。

理由

向量库存储着企业知识库的语义索引，其内容虽为向量形式但可通过解码或最近邻搜索还原出原始语义信息。向量库的安全防护等级应不低于源数据本身。

实施指引

存储加密：向量库数据在持久化时采用AES-256加密。密钥通过KMS（密钥管理服务）管理，支持密钥轮换。加密粒度至少到Collection级别，不同安全等级的Collection可使用不同的加密密钥。

传输加密：客户端与向量库之间的通信强制TLS 1.2+加密，在VPC内部署时通过私网Endpoint访问，禁止向量库直接暴露公网。

访问控制：向量库的访问凭证按最小权限原则分配。推理服务使用只读凭证（仅支持向量搜索），数据管道使用写入凭证（支持数据更新），管理操作使用独立的管理员凭证。凭证定期轮换，并启用操作审计日志。

查询结果过滤：在向量搜索返回结果后、送入模型之前，对结果进行权限过滤——移除当前用户无权限访问的文档片段。权限判定基于预先维护的文档ACL（访问控制列表），而非依赖模型行为。

反模式：向量库使用默认配置部署，无加密、无独立访问控制，所有服务共用同一个全权限凭证。

阿里云实现：阿里云向量检索服务支持VPC内私网部署和数据加密。结合RAM进行细粒度的访问控制策略配置。操作日志通过ActionTrail记录，支持安全审计。

理由

模型是AI系统的核心制品，其来源可信度直接决定系统安全基线。如同软件需要SBOM（软件物料清单）追踪组件来源，模型同样需要一套"模型物料清单"来记录其构成——基础模型来源、训练数据来源、微调方法、依赖的库和框架版本等。

实施指引

为每个模型建立结构化的模型SBOM，至少包含以下字段：基础模型标识（名称、版本、哈希值、获取渠道）、训练/微调数据集标识（名称、版本、来源）、训练框架及版本、关键超参数、训练环境描述、产出的模型文件哈希值。

模型SBOM随模型制品一起存储在制品库中，模型制品与SBOM之间通过签名绑定，确保两者不可被篡改或脱离。

在生产部署前，自动化流程验证SBOM中的基础模型来源是否来自可信渠道（如阿里云模型市场、经审核的内部模型库），是否存在已知的安全通告。类似于软件依赖的漏洞扫描，对模型的"依赖"进行安全检查。

反模式：从互联网下载模型权重文件直接部署到生产环境，不验证来源、不记录血缘、不检查是否被篡改。

阿里云实现：PAI Model Registry支持模型元数据的结构化存储和版本管理。结合ACR（容器镜像服务）对模型镜像进行签名和漏洞扫描。模型来源可追溯到百炼模型市场或魔搭社区的原始记录。

理由

从模型训练到生产部署，制品经历多个环节的流转（训练→导出→压缩→容器化→部署）。任何一个环节的制品被篡改都可能引入安全风险。制品签名确保部署到生产的制品与经过安全评审的制品完全一致，中间未被篡改。

实施指引

模型制品在训练完成后立即计算哈希摘要并进行签名。签名使用非对称加密，签名私钥由安全团队独立管理，存储于KMS中。

在CI/CD流水线的每个关键交接点（训练产出→制品库、制品库→部署环境）执行签名验证。验证不通过则阻断流程并触发安全告警。

容器化部署场景中，模型以容器镜像形式分发。启用容器镜像签名（如cosign），在Kubernetes节点拉取镜像时验证签名，拒绝部署未签名或签名无效的镜像。

版本回滚时，确保回滚目标版本同样经过签名验证——避免攻击者通过伪造"旧版本"来部署恶意制品。

反模式：制品通过共享存储或文件传输方式在团队间流转，无完整性校验。部署脚本直接从训练节点拉取模型文件，中间缺乏签名验证环节。

阿里云实现：ACR企业版支持容器镜像签名和交付链（Delivery Chain）策略，可在部署时强制校验镜像签名。结合KMS进行签名密钥管理，ActionTrail记录所有制品操作的审计日志。

理由

模型作为企业核心资产，其访问权限需要精确控制。不同角色（数据科学家、工程师、运维人员、业务方）对模型的操作需求不同，应遵循最小权限原则。

实施指引

定义明确的模型操作权限维度：创建/注册模型、查看模型元数据、下载模型权重、部署模型到推理服务、调用推理接口、修改模型配置、删除模型。不同角色仅授予其工作所需的最小权限集。

模型权重的下载和导出是高敏感操作，须限制在极少数角色且附加审批流程。防止内部人员未经授权复制模型资产。

推理接口的调用权限按应用维度隔离——每个应用使用独立的服务账号（Service Account），仅授权访问其所需的特定模型端点。避免单一全权限凭证被所有应用共享。

定期审计权限分配，清理长期未使用的权限授权，检测异常的权限使用模式（如非工作时间的模型下载操作）。

反模式：使用单一的管理员账号进行所有模型相关操作，或向所有开发人员授予模型权重的完整读写权限。

阿里云实现：RAM支持对PAI资源的细粒度权限控制，结合RAM的条件策略（如限制源IP、限制操作时段），进一步收紧访问边界。SLS和ActionTrail记录所有模型访问操作，支持异常行为分析。

理由

智能体通过工具调用与外部系统交互。若工具的权限配置过于宽泛，一次成功的提示词注入就可能利用这些过度权限造成严重损害。最小特权原则在智能体场景中尤为关键——工具只应具备完成其设计功能所必需的最小权限集合。

实施指引

为每个工具定义明确的权限边界文档，说明该工具被允许执行的操作范围和访问的数据范围。例如"邮件发送工具"仅被允许通过企业邮件系统发送邮件，且收件人范围限于企业内部（不可向外部地址发送），单次发送的收件人数量不超过5人。

工具使用独立的Service Account凭证，该凭证的权限精确匹配工具的设计功能。绝对禁止工具使用用户本人的凭证执行操作——这相当于将用户的全部权限暴露给AI系统。

实施运行时权限校验：在工具执行前，验证本次调用的参数是否在允许范围内。例如文件操作工具在执行写入前校验目标路径是否在允许的目录范围内，数据库查询工具校验SQL语句是否仅涉及允许访问的表。

反模式：赋予智能体一个拥有管理员权限的通用凭证，所有工具共用此凭证。或者仅在prompt中"告诉"模型不要做某些操作而不进行实际的权限限制。

阿里云实现：RAM支持为每个工具/函数创建独立的服务角色，通过策略精确定义可操作的资源范围和操作类型。百炼的智能体配置中支持工具级别的权限声明。

理由

某些操作的后果不可逆或影响重大（如删除数据、发起资金交易、修改访问权限、发送外部通知），不应允许AI系统自主决策执行。对于这类操作，须引入人工审批或二次确认机制。

实施指引

定义高影响操作分类标准，例如：涉及资金的操作（金额超过阈值）、数据删除操作、权限变更操作、向外部发送信息的操作、系统配置变更操作。分类标准由安全团队和业务方共同制定。

当智能体拟执行高影响操作时，暂停执行流程，将操作详情（操作类型、参数、上下文）推送至审批队列。指定审批人在规定时限内完成审批。审批通过后继续执行，审批拒绝则中止该操作并向智能体返回明确的拒绝原因。

审批超时策略：超时未审批的操作默认拒绝（安全优先），而非默认通过。超时后向相关人员发送升级通知。

所有审批记录（包括审批人、审批时间、审批结论、操作上下文）完整记录到审计日志，确保事后可追溯。

反模式：允许智能体自主执行所有操作而无任何人工检查点。或者审批流程设计过于复杂导致业务效率严重下降，使用者倾向于绕过审批机制。

阿里云实现：可结合钉钉审批流或自定义工作流引擎实现审批门。百炼智能体的工具调用日志通过SLS记录，可配置实时告警规则对高影响操作进行实时监控。

理由

智能体的行为链路可能很长且复杂（多轮对话→多次工具调用→多个外部系统交互），当安全事件发生时，需要能够完整还原智能体的决策过程和执行路径，确定问题根因。这要求系统具备完整的审计日志记录和行为重放能力。

实施指引

记录智能体的完整行为链：每一轮的用户输入、系统提示词、模型输出、工具调用请求（包括参数）、工具调用结果、最终返回给用户的内容。所有记录带时间戳、会话ID、用户ID等关联信息。

日志的记录粒度精细到Token级别（可选）：对于安全要求极高的场景，记录模型的流式输出Token序列，支持完整重放生成过程。

日志不可篡改：审计日志写入后不可修改和删除（至少在保留期内）。通过写入权限控制和日志完整性校验机制保障。建议将审计日志写入独立的日志存储，与业务系统隔离。

行为重放能力：基于完整日志，能够还原智能体在任意时间点的对话上下文和决策依据。在安全事件调查时，分析人员可"回放"智能体的行为过程，判断是否存在被注入、被诱导或系统缺陷。

日志保留期限：根据《网络安全法》要求，日志保留期限不少于六个月。涉及金融等特定行业的，保留期限按行业法规执行。

反模式：仅记录最终输出而不记录中间推理过程和工具调用详情。或审计日志与业务系统使用同一存储，存在被入侵后日志一并被清除的风险。

阿里云实现：SLS提供海量日志的采集、存储和分析能力，支持日志不可篡改策略配置。ActionTrail记录所有云资源操作的审计事件。百炼平台的调用日志可直接对接SLS，实现完整的行为链路记录和查询。结合云监控进行实时的异常行为告警。