LLM-文章内句子去重组件说明_人工智能平台 PAI(PAI)-阿里云帮助中心

LLM-文章内句子去重组件主要用于大语言模型（LLM）的文本数据预处理工作，对文章内的语句进行去重。

使用限制

仅支持MaxCompute计算引擎。

首先根据换行符将文本进行拆分，然后对拆分后的每行文本使用。,！,？,……,\\?,!,。”,!”,\\?”,！”,？”等标点符号进行语句分割，再使用hashlib.sha1哈希算法计算文本哈希值，对文本去重。

您可以在Designer中，通过可视化的方式配置组件参数。

页签	参数	是否必选	描述	默认值
字段设置	选择目标处理列	是	选择要处理的列，支持选择多个列。	无
字段设置	设置输出表生命周期	否	正整数，单位为天。默认28天，28天后该组件产生的临时表被回收。	28
执行调优	每个实例的cpu数目	否	设定map task每个instance的CPU数目，取值范围为[50,800]。	100
	每个实例的memory大小，单位M	否	设定map task每个instance的memory大小，单位为MB，取值范围为[256,12288]。	1024
	每个实例处理的数据大小，单位M	否	设定map task每个instance的最大处理数据量，用户可以通过控制该变量，实现对map端输入的控制。单位为MB，取值范围为[1,Integer.MAX_VALUE]。	256