LLM-文件后缀过滤组件主要用于大语言模型（LLM）的文本数据预处理工作，根据文件名后缀对文本进行过滤，过滤掉指定后缀名的样本。
使用限制
仅支持MaxCompute计算引擎。
可视化配置参数
您可以在Designer中，通过可视化的方式配置组件参数。
页签 | 参数 | 是否必选 | 描述 | 默认值 |
字段设置 | 选择目标处理列 | 是 | 选择要处理的列，支持选择多个列。 | 无 |
过滤的后缀名 | 是 | 要过滤掉的文件后缀名，多个后缀名用半角逗号（,）分隔，例如：.asm,.bat,.cmd | .asm,.bat,.cmd,.c,.h,.cs,.cpp,.hpp,.c++,.h++,.cc,.hh,.C,.H,.cmake,.css,.dockerfile,.f90,.f,.f03,.f08,.f77,.f95,.for,.fpp,.go,.hs,.html,.java,.js,.jl,.lua,.md,.markdown,.php,.php3,.php4,.php5,.phps,.phpt,.pl,.pm,.pod,.perl,.ps1,.psd1,.psm1,.py,.rb,.rs,.sql,.scala,.sh,.bash,.command,.zsh,.ts,.tsx,.tex,.vb,Dockerfile,Makefile,.xml,.rst,.m,.smali | |
设置输出表生命周期 | 否 | 正整数，单位为天。默认28天，28天后该组件产生的临时表被回收。 | 28 | |
执行调优 | 每个实例的cpu数目 | 否 | 设定map task每个instance的CPU数目，取值范围为[50,800]。 | 100 |
每个实例的memory大小，单位M | 否 | 设定map task每个instance的memory大小，单位为MB，取值范围为[256,12288]。 | 1024 | |
每个实例处理的数据大小，单位M | 否 | 设定map task每个instance的最大处理数据量，用户可以通过控制该变量，实现对map端输入的控制。单位为MB，取值范围为[1,Integer.MAX_VALUE]。 | 256 |
相关文档
关于Designer组件更详细的内容介绍，请参见Designer概述。
- 本页导读 （1）