LLM-文本标准化组件说明-人工智能平台 PAI(PAI)-阿里云帮助中心

LLM-文本标准化（DLC）组件主要用于将文本Unicode标准化以及繁体转简体。输入的OSS数据文件（JSONL格式，示例）需符合：每一行是一个合法的JSON对象，文件由多行JSON对象组成，整个文件本身不是合法的JSON对象。

支持的计算资源

DLC

算法说明

LLM-文本标准化组件支持以下功能：

将Unicode文本标准化，使用NFKC的方式标准化文本。

ftfy.fix_text(text, normalization='NFKC')
繁体转成简体使用opencc包转换。

使用opencc包转换。

效果如下：

处理前

数据表列 A（类型为 text）包含 6 行文本数据，其中存在编码异常字符及繁简体中文混合内容。

处理后

数据表列类型为text，共6行结果：英文及特殊字符保持不变（如✔ No problems、The Mona Lisa doesn't have eyebrows.），中文繁体字已转为简体（如这是几个繁体字,会被转换为简体字），包含繁简体字、英文、数字和特殊字符的混合文本中繁体部分同样完成转换。

配置组件

在Designer工作流页面添加LLM-文本标准化（DLC）组件，并在界面右侧配置相关参数：

参数类型	参数		是否必选	描述	默认值
字段设置	目标处理字段		是	要处理的字段名称。	无
	是否将Unicode文本标准化（NFKC方式）		否	是否将Unicode文本标准化（NFKC方式）。	选中
	是否将繁体转简体		否	是否将繁体转简体。	选中
	数据输出OSS目录		否	处理后数据的OSS存储目录。如果为空，使用工作空间默认路径。	无
执行调优	多进程个数		否	设置进程数。	8
	选择资源组	公共资源组	否	选择节点规格（CPU或GPU实例规格）、节点数量、专有网络。	无
	选择资源组	专有资源组	否	选择CPU核数、内存、共享内存、GPU卡数、节点数量。	无
	最大运行时长		否	组件最大运行时长，超过这个时间，作业会被kill。	无