文件基本信息算子用于提取输入数据集中文件的基本信息，包括文件大小、文件类型、创建时间等。本文为您介绍如何配置文件基本信息算子。
前提条件
-
当前实例购买非结构化数据功能后，方可使用工作流功能。
-
已完成工作流的创建，详细创建步骤请参见创建及管理工作流。
背景信息
-
文件基本信息算子支持处理以下格式文件：pdf、jpg、png、arw、bmp、cr2、heic、nef、tiff、webp、html、csv、json、xml、md、txt、doc、aac、amr、avi、flac、flv、m4a、mkv、mov、mp3、mp4、mpeg、ogg、opus、wav、webm、wma、wmv。
-
文件基本信息算子默认分配0.5Core、1GB资源。
权限说明
Basic项目的项目管理员、开发者、分析师以及拥有数据集-使用权限的自定义项目角色，可在算子的输入和输出数据集中使用该项目下的所有数据集。
操作步骤
-
在Dataphin首页的顶部菜单栏中，选择研发 > 数据研发。
-
在开发页面的顶部菜单栏选择项目。
-
在左侧导航栏中选择数据处理 > 工作流，在左侧工作流列表中单击目标工作流，打开工作流画布，在左侧算子库中拖动文件基本信息算子至画布中，并在右侧文件基本信息面板中配置以下参数。
参数
描述
步骤名称
输入当前算子名称，支持任意字符，不超过256个字符。
输入配置
数据集
选择需处理的数据集，仅可选择文件数据集和混合数据集。数据集选择完成后还需选择其版本，默认为该数据集正序的第一个版本。
当前算子作为其他算子的下游时，此处所选数据集通常与上游算子的输出数据集一致。
扫描范围（非必填）
默认扫描数据集下的所有文件。支持使用正则表达式限制扫描范围，并可通过
${xx}引用变量（支持本地变量与全局变量）。支持添加不超过10条规则，多条规则之间为或关系。每条规则左侧展示数据集路径前缀（随所选数据集路径动态变化，无路径时为根路径），该前缀仅用于展示、不计入规则内容，规则默认为空。
常见场景举例：
-
指定.txt文件：
^.*\.txt$ -
.txt或.csv：
^.*\.(txt|csv)$ -
category/目录含子目录：
^category/.*$ -
文件名前缀（任意目录）：
^(?:.*/)?${prefix}[^/]*$ -
文件名后缀（任意目录）：
^(?:.*/)?[^/]*${suffix}\.[^/.]+$
若规则中引用了变量，运行工作流时系统会识别出该变量（本地变量与全局变量），并在运行对话框的参数配置中展示，供您填写参数值。
输出配置
数据集
支持选择来源数据集或其他数据集。当输入数据集选择混合数据集时，默认选择来源数据集；当输入数据集选择文件数据集时，默认选择其他数据集且不可修改。数据集选择完成后还需选择其版本，默认为该数据集正序的第一个版本。选择其他数据集时，支持选择来源数据集的其他版本。
加载策略
若所选输出数据集的元数据表中存在主键，则默认选择主键冲突时更新；若不存在主键，则默认选择追加数据。
-
追加数据：直接向目标表新增追加数据，当主键/约束冲突时，会提示错误。
-
主键冲突时更新：当主键/约束冲突时，会先删除整行主键重复的旧数据，再插入新数据。
-
覆盖：先删除目标表的数据，再写入数据。
说明输出数据集选择来源数据集时，加载策略仅支持主键冲突时更新。
字段映射
文件基本信息算子将固定输出以下字段：
-
file_url：文件存储URL。 -
file_name：文件名称。 -
size：文件大小（bytes）。 -
file_extension：文件扩展名。 -
mime_type：MIME类型。 -
modified_time：修改时间。
算子输出字段默认映射至输出数据集的同名字段，您也可以手动选择目标字段进行自定义映射。此外，支持将来源数据集的透传字段映射至目标数据集。您可以通过以下方式管理字段映射：
-
新增输出字段：单击后新增一行空白字段映射关系。仅当输出数据集选择其他数据集，且为混合数据集时支持此功能。
-
批量映射：单击后可选择批量手动映射、同名映射或同行映射。仅当输出数据集选择其他数据集，且为混合数据集时支持此功能。
-
删除映射：单击删除图标可删除对应行的字段映射，但算子固定输出字段的映射不支持删除。
-
-
配置完成后，单击画布顶部菜单栏中的保存，保存此次配置。
单个算子配置完成后，可继续为其选择上游或下游算子来完成完整工作流的配置。