文本chunk切分算子用于按指定规则将长文本切分为语义或结构完整的短文本片段。本文介绍文本chunk切分算子的配置方法。
前提条件
需联系Dataphin团队开通非结构化数据功能后，才能使用工作流功能。
已完成工作流的创建，详细创建步骤请参见创建工作流。
权限说明
Basic项目的项目管理员、开发者、分析师以及拥有数据集-使用权限的自定义项目角色，可在算子的输入和输出数据集中使用该项目下的所有数据集。
操作步骤
在Dataphin首页的顶部菜单栏中，选择研发 > 数据研发。
在开发页面的顶部菜单栏选择项目。
在左侧导航栏中选择数据处理 > 工作流，在左侧工作流列表中单击目标工作流，打开工作流画布，在左侧算子库中拖动文本chunk切分算子至画布中，并在右侧文本chunk切分面板中配置以下参数。
参数
描述
步骤名称
输入当前算子名称，支持任意字符，不超过256个字符。
输入配置
数据集
选择需处理的数据集，可选择混合数据集和表数据集。数据集选择完成后还需选择其版本，默认为该数据集正序的第一个版本。
当前算子作为其他算子的下游时，此处所选数据集通常与上游算子的输出数据集一致。
输入字段
待处理文本的存储URL，仅支持读取.md/.txt/.doc/.html格式的文件。需选择输入数据集中来源字段，仅可选择输入数据集中是否URL参数为是的字段。
过滤条件（非必填）
使用SQL语法，仅需输入where语句后的过滤条件，支持使用系统全局变量，例如业务日期${bizdate}。
算子参数配置
切分方式
支持选择按文本结构切分或按固定长度切分，默认为按文本结构切分。选择按文本结构切分时还需选择文本类型，可选择纯文本、Markdown或HTML。
按文本结构切分：如果待处理文本是纯文本，则按照
段落>换行符>句子的顺序进行拆分；如果待处理文本是Markdown或HTML格式，则基于文档特定的结构进行分隔。例如Markdown文档的标题、HTML文档的标签等。按固定长度切分：基于设置的字符数量将文本切分为等长的进行文本分割。
分块大小
每个文本块的目标长度，默认为1024个字符。
块重叠大小
相邻文本块之间允许重叠的最大长度，需小于等于分块大小，默认为128个字符。
输出配置
数据集
可选择一个混合数据集或表数据集及其版本作为输出数据集，默认为该数据集正序的第一个版本。
加载策略
若所选输出数据集的元数据表中存在主键，则默认选择主键冲突时更新；若不存在主键，则默认选择追加数据。
追加数据：直接向目标表新增追加数据，当主键/约束冲突时，会提示错误。
主键冲突时更新：当主键/约束冲突时，会先删除整行主键重复的旧数据，再插入新数据。
覆盖：先删除目标表的数据，再写入数据。
字段映射
文本chunk切分算子将固定输出以下字段：
source_file_url：原始文本的存储URL。chunk_sequence：分片序号。chunk_content：切分后的文本内容。
算子输出字段默认映射至输出数据集的同名字段，您也可以手动选择目标字段进行自定义映射。此外，支持将来源数据集的透传字段映射至目标数据集。您可以通过以下方式管理字段映射：
新增输出字段：单击后新增一行空白字段映射关系。
批量映射：单击后可选择批量手动映射、同名映射或同行映射。
删除映射：单击删除图标可删除对应行的字段映射，但算子固定输出字段的映射不支持删除。
配置完成后，单击画布顶部菜单栏中的保存，保存此次配置。
单个算子配置完成后，可继续为其选择上游或下游算子来完成完整工作流的配置。