LLM-删除LaTeX注释行(DLC)组件适用于TEX文档格式数据。主要功能是删除LaTeX格式文本中的注释行以及行内注释。输入的OSS数据文件(JSONL格式,示例)需符合:每一行是一个合法的JSON对象,文件由多行JSON对象组成,整个文件本身不是合法的JSON对象。
支持的计算资源
算法说明
定义LaTeX格式文本注释行的正则表达式如下:
注释类型 | 正则表达式 |
多行注释 |
|
单行注释 |
|
提取所有满足上述正则表达式的字符串,替换为空字符串。示例如下:
处理前 | 处理后 |
配置组件
在Designer工作流页面添加LLM-删除LaTeX注释行(DLC)组件,并在界面右侧配置相关参数:
参数类型 | 参数 | 是否必选 | 描述 | 默认值 | |
字段设置 | 目标处理字段 | 是 | 要处理的字段名称。 | 无 | |
是否删除所有行注释 | 否 | 是否删除所有的注释行。 | 选中 | ||
是否删除一行内的所有注释 | 否 | 是否删除一行内的所有注释 | 选中 | ||
数据输出OSS目录 | 否 | 处理后数据的OSS存储目录。如果为空,使用工作空间默认路径。 | 无 | ||
执行调优 | 多进程个数 | 否 | 设置进程数。 | 8 | |
选择资源组 | 公共资源组 | 否 | 选择节点规格(CPU或GPU实例规格)、节点数量、专有网络。 | 无 | |
专有资源组 | 否 | 选择CPU核数、内存、共享内存、GPU卡数、节点数量。 | 无 | ||
最大运行时长 | 否 | 组件最大运行时长,超过这个时间,作业会被kill。 | 无 |
文档内容是否对您有帮助?