文档

LLM-删除LaTeX参考文献(MaxCompute)

更新时间:

LLM-删除LaTeX参考文献组件主要用于大语言模型(LLM)的文本数据预处理工作,适用于TEX文档格式数据。主要功能是删除LaTeX格式文本末尾的参考文献。

支持的计算资源

MaxCompute

算法说明

定义LaTeX格式文本参考文献的正则表达式为:r'(\\appendix|\\begin\{references\}|\\begin\{REFERENCES\}|\\begin\{thebibliography\}|\\bibliography\{.*\}).*$'(多个匹配字段用“|”分隔)。

提取所有满足上述正则表达式的字符串,并替换为空字符。示例如下:

处理前

image

处理后

image

配置组件

在Designer工作流页面添加LLM-删除LateX参考文献组件,并在界面右侧配置相关参数:

参数类型

参数

描述

字段设置

选择目标处理列

选择要处理的列,支持多选。

设置输出表生命周期

正整数,单位为天。默认28天,28天后该组件产生的临时表被回收。

执行调优

每个实例的cpu数目

设定map task每个instance的CPU数目,取值范围:50~800,默认值:100。

每个实例的memory大小,单位M

设定map task每个instance的memory大小,取值范围:256~12288,默认值:1024,单位:MB。

每个实例处理的数据大小,单位M

设定map task每个instance的最大处理数据量,取值范围:1~Integer.MAX_VALUE,默认值:256,单位:MB。

您可以通过控制这个变量,从而达到对map端输入的控制。

  • 本页导读 (1)