LLM-特殊内容移除组件说明-人工智能平台 PAI(PAI)-阿里云帮助中心

LLM-特殊内容移除（DLC）组件主要用于去除文本中的URL链接，以及去除HTML格式字符并解析出HTML文本。输入的OSS数据文件（JSONL格式，示例）需符合：每一行是一个合法的JSON对象，文件由多行JSON对象组成，整个文件本身不是合法的JSON对象。

支持的计算资源

DLC

算法说明

LLM-特殊内容移除组件支持以下功能：

去除URL链接

删除文本中匹配正则表达式r'(https?|http)?:\/\/[\w\.\/\?\=\&\%\-\_]+'的字符。
去除HTML格式字符并解析出HTML文本

将文本中的'<li>'替换成'\n*'，'<ol>'替换成'\n*'，并删除'</li>'和'</ol>'字符。最后解析HTML文本并返回。

例如去除文章中的URL链接：

处理前

处理前的当前字段值为 AngularJS v1.3.0-beta.2 压缩源码，其中 URL http://angularjs.org 被重点标注。字段值内容片段：

/*
 AngularJS v1.3.0-beta.2
 (c) 2010-2014 Google, Inc. http://angularjs.org
 License: MIT
*/
(function(H,a,A){'use strict';function D(p,g){g=g||
{};a.forEach(g,function(a,c){delete g[c]});for(var c in
p)!p.hasOwnProperty(c)||"$"===c.charAt(0)&&"$"===c.charAt(1)|| // ...

处理后

配置组件

在Designer工作流页面添加LLM-特殊内容移除（DLC）组件，并在界面右侧配置相关参数：

参数类型	参数		是否必选	描述	默认值
字段设置	目标处理字段		是	要处理的字段名称。	无
	是否去除URL链接		否	是否去除URL链接。	选中
	是否去除html格式字符并解析出html文本		否	是否去除HTML格式字符并解析出HTML文本。	未选中
	数据输出OSS目录		否	处理后数据的OSS存储目录。如果为空，使用工作空间默认路径。	无
执行调优	多进程个数		否	设置进程数。	8
	选择资源组	公共资源组	否	选择节点规格（CPU或GPU实例规格）、节点数量、专有网络。	无
	选择资源组	专有资源组	否	选择CPU核数、内存、共享内存、GPU卡数、节点数量。	无
	最大运行时长		否	组件最大运行时长，超过这个时间，作业会被kill。	无