文档

LLM-文章相似度去重(MaxCompute)

更新时间:

LLM-文章相似度去重组件主要用于大语言模型(LLM)的文本数据预处理工作,使用SimHash算法计算文本间的相似度,实现文本去重。

使用限制

仅支持MaxCompute计算引擎。

可视化配置参数

您可以在Designer中,通过可视化的方式配置组件参数。

页签

参数

是否必选

描述

默认值

字段设置

选择目标处理列

选择要处理的列。

全局唯一字段列

该列的值必须是全局唯一。

用于排序字段

强烈建议选择数值列!升序排序后,保留该字段值更小的文章。

Jaccard相似度阈值

取值范围:0~1.0的浮点数。

英文建议值0.85,中文建议值0.95。

0.95

levenshtein编辑距离占比阈值

取值范围:0~100的整数。

90

SQL脚本

根据条件对输入table数据进行筛选,即SQL的where部分,需包含where关键词。

设置输出表生命周期

正整数,单位为天。默认28天,28天后该组件产生的临时表被回收。

28

执行调优

每个实例的cpu数目

设定map task每个instance的CPU数目,取值范围为[50,800]。

100

每个实例的memory大小,单位M

设定map task每个instance的memory大小,单位为MB,取值范围为[256,12288]。

1024

每个实例处理的数据大小,单位M

设定map task每个instance的最大处理数据量,用户可以通过控制该变量,实现对map端输入的控制。单位为MB,取值范围为[1,Integer.MAX_VALUE]。

256

相关文档

关于Designer组件更详细的内容介绍,请参见Designer概述