LLM-敏感词过滤组件说明_人工智能平台 PAI(PAI)-阿里云帮助中心

备案控制台

输入文档关键字查找

LLM-敏感词过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，可以过滤掉带有敏感词的样本。

支持的计算资源

算法说明

识别文本中是否包含敏感词，过滤掉包含敏感词的样本。支持返回文本中包含的敏感词。默认提供的敏感词数量共12000+。

配置组件

在Designer工作流页面添加LLM-敏感词过滤（MaxCompute）组件，并在界面右侧配置相关参数：

参数类型	参数	默认值	描述
字段设置	选择目标处理列	无	选择要处理的列。
	是否保存敏感词结果	无	是否将敏感词识别结果保存到输出表中。如果勾选，则在输出表中新增两列用来存储结果，否则不做存储。是否敏感词保存列名：保存是否敏感词的列名，值为bool类型，默认列名为is_sensitive。敏感词保存列名：保存敏感词的列名，默认列名为sensitive_words。
	SQL脚本	无	where语句填写，是否敏感词默认保存到`is_sensitive`列，检测出的敏感词默认保存到`sensitive_words`列，可根据这两列的结果进行过滤。如果修改了列名，请根据修改后的列名填写。默认条件为`where not is_sensitive`。
	敏感词文件	预置敏感词文件	敏感词文件路径。置空时，使用默认的敏感词列表。文件格式为："敏感词1\n敏感词2\n..."，敏感词之间用换行符分隔。
	设置输出表生命周期	28	正整数，单位为天。默认28天，28天后该组件产生的临时表被回收。
执行调优	每个实例的cpu数目	100	设定map task每个instance的CPU数目，取值范围为[50,800]。
	每个实例的memory大小，单位M	1024	设定map task每个instance的memory大小，单位为MB，取值范围为[256,12288]。
	每个实例处理的数据大小，单位M	256	设定map task每个instance的最大处理数据量，用户可以通过控制该变量，实现对map端输入的控制。单位为MB，取值范围为[1,Integer.MAX_VALUE]。

上一篇：LLM-文本质量打分和语种识别（MaxCompute）下一篇：LLM-敏感信息打码（MaxCompute）

该文章对您有帮助吗？