简繁体转换算子用于实现简体中文与繁体中文之间的相互转换,支持适配多种繁体格式。本文介绍简繁体转换算子的配置方法。
前提条件
需联系Dataphin团队开通非结构化数据功能后,才能使用工作流功能。
已完成工作流的创建,详细创建步骤请参见创建工作流。
权限说明
Basic项目的项目管理员、开发者、分析师以及拥有数据集-使用权限的自定义项目角色,可在算子的输入和输出数据集中使用该项目下的所有数据集。
操作步骤
在Dataphin首页的顶部菜单栏中,选择研发 > 数据研发。
在开发页面的顶部菜单栏选择项目。
在左侧导航栏中选择数据处理 > 工作流,在左侧工作流列表中单击目标工作流,打开工作流画布,在左侧算子库中拖动简繁体转换算子至画布中,并在右侧简繁体转换面板中配置以下参数。
参数
描述
步骤名称
输入当前算子名称,支持任意字符,不超过256个字符。
输入配置
数据集
选择需处理的数据集,可选择混合数据集和表数据集。数据集选择完成后还需选择其版本,默认为该数据集正序的第一个版本。
当前算子作为其他算子的下游时,此处所选数据集通常与上游算子的输出数据集一致。
输入字段
待处理的文本或文档URL,根据字段类型自动识别:
当来源字段是URL类型的字段时,将提取URL指向的文档内容进行处理,支持读取.md/.txt/.doc格式的文件。
当来源字段不是URL类型的字段时,将字段内容作为待处理的纯文本信息。
需选择输入数据集中来源字段,可选择输入数据集中元数据表的所有字段。
过滤条件(非必填)
使用SQL语法,仅需输入where语句后的过滤条件,支持使用系统全局变量,例如业务日期${bizdate}。
算子配置
目标语言
选择转换后的语言,可选择简体中文、通用繁体、港澳繁体或台湾繁体,默认为简体中文。
输出配置
数据集
支持选择来源数据集或其他数据集。若来源数据集的元数据表不存在主键,则输出数据集默认选择其他数据集。
当选择其他数据集时,将根据输入字段类型还需指定一个数据集及其版本作为输出数据集,默认为该数据集正序的第一个版本。
若输入字段为URL类型的字段(处理后会生成文件),则输出数据集仅支持选择混合数据集。
若输入字段不是URL类型的字段(处理后不会生成文件),则输出数据集支持选择混合数据集和表数据集。
选择来源数据集时,算子产出的元数据将写入来源数据集同版本对应的元数据表中。
文件输出路径(非必填)
输入文件输出的路径,仅当输入字段为URL类型时支持配置。
文件输出名称
仅当输入字段为URL类型时展示,生成文件的文件名格式为
${原文件名称}_${目标语言}.md,不支持修改。加载策略
若所选输出数据集的元数据表中存在主键,则默认选择主键冲突时更新;若不存在主键,则默认选择追加数据。
追加数据:直接向目标表新增追加数据,当主键/约束冲突时,会提示错误。
主键冲突时更新:当主键/约束冲突时,会先删除整行主键重复的旧数据,再插入新数据。
覆盖:先删除目标表的数据,再写入数据。
说明输出数据集选择来源数据集时,加载策略仅支持主键冲突时更新。
字段映射
当输入字段为URL类型时,简繁体转换算子仅固定输出
markdown_url字段,即转换后的文档存储URL。当输入字段不是URL类型时,简繁体转换算子仅固定输出
processed_text字段,即转换后的文本内容。
算子输出字段默认映射至输出数据集的同名字段,您也可以手动选择目标字段进行自定义映射。此外,支持将来源数据集的透传字段映射至目标数据集。您可以通过以下方式管理字段映射:
新增输出字段:单击后新增一行空白字段映射关系。仅输出数据集选择其他数据集时支持此功能。
批量映射:单击后可选择批量手动映射、同名映射或同行映射。仅输出数据集选择其他数据集时支持此功能。
删除映射:单击删除图标可删除对应行的字段映射,但算子固定输出字段的映射不支持删除。
配置完成后,单击画布顶部菜单栏中的保存,保存此次配置。
单个算子配置完成后,可继续为其选择上游或下游算子来完成完整工作流的配置。