删除LaTeX参考文献_人工智能平台 PAI(PAI)-阿里云帮助中心

LLM-删除LaTeX参考文献组件主要用于大语言模型（LLM）的文本数据预处理工作，适用于TEX文档格式数据。主要功能是删除LaTeX格式文本末尾的参考文献。

支持的计算资源

算法说明

定义LaTeX格式文本参考文献的正则表达式为：r'(\\appendix|\\begin\{references\}|\\begin\{REFERENCES\}|\\begin\{thebibliography\}|\\bibliography\{.*\}).*$'（多个匹配字段用“|”分隔）。

提取所有满足上述正则表达式的字符串，并替换为空字符。示例如下：

处理前

处理后

配置组件

在Designer工作流页面添加LLM-删除LateX参考文献组件，并在界面右侧配置相关参数：

参数类型	参数	描述
字段设置	选择目标处理列	选择要处理的列，支持多选。
字段设置	设置输出表生命周期	正整数，单位为天。默认28天，28天后该组件产生的临时表被回收。
执行调优	每个实例的cpu数目	设定map task每个instance的CPU数目，取值范围：50~800，默认值：100。
	每个实例的memory大小，单位M	设定map task每个instance的memory大小，取值范围：256~12288，默认值：1024，单位：MB。
	每个实例处理的数据大小，单位M	设定map task每个instance的最大处理数据量，取值范围：1~Integer.MAX_VALUE，默认值：256，单位：MB。您可以通过控制这个变量，从而达到对map端输入的控制。