文档

LLM-MD5去重(MaxCompute)

更新时间:

LLM-MD5去重组件主要用于大语言模型(LLM)的文本数据预处理工作,可以计算文本的MD5哈希值,根据哈希值对文本进行去重。

使用限制

仅支持MaxCompute计算引擎。

算法简介

对所有输入的文本数据使用hashlib.md5哈希算法计算哈希值。哈希值相同的文本仅保留一个。

对于每条输入文本,会去除头尾空白符再计算哈希值,字符区分大小写。

可视化配置参数

您可以在Designer中,通过可视化的方式配置组件参数。

页签

参数

是否必选

描述

默认值

字段设置

选择目标处理列

选择要处理的列。

设置输出表生命周期

正整数,单位为天。默认28天,28天后该组件产生的临时表被回收。

28

执行调优

每个实例的cpu数目

设定map task每个instance的CPU数目,取值范围为[50,800]。

100

每个实例的memory大小,单位M

设定map task每个instance的memory大小,单位为MB,取值范围为[256,12288]。

1024

每个实例处理的数据大小,单位M

设定map task每个instance的最大处理数据量,用户可以通过控制该变量,实现对map端输入的控制。单位为MB,取值范围为[1,Integer.MAX_VALUE]。

256

相关文档

关于Designer组件更详细的内容介绍,请参见Designer概述