LLM-文本标准化组件的Unicode标准化与繁体转简体功能-人工智能平台 PAI-阿里云

LLM-文本标准化组件主要用于大语言模型（LLM）的文本数据预处理工作，可以将文本Unicode标准化以及繁体转简体。

使用限制

仅支持MaxCompute计算引擎。

LLM-文本标准化组件支持以下功能：

效果如下：

您可以在Designer中，通过可视化的方式配置组件参数。

页签	参数	是否必选	描述	默认值
字段设置	选择目标处理列	是	选择要处理的列，支持选择多个列。	无
字段设置	设置输出表生命周期	否	正整数，单位为天。默认28天，28天后该组件产生的临时表被回收。	28
执行调优	每个实例的cpu数目	否	设定map task每个instance的CPU数目，取值范围为[50,800]。	100
	每个实例的memory大小，单位M	否	设定map task每个instance的memory大小，单位为MB，取值范围为[256,12288]。	1024
	每个实例处理的数据大小，单位M	否	设定map task每个instance的最大处理数据量，用户可以通过控制该变量，实现对map端输入的控制。单位为MB，取值范围为[1,Integer.MAX_VALUE]。	256