文件基本信息

更新时间:
复制 MD 格式

文件基本信息算子用于提取输入数据集中文件的基本信息,包括文件大小、文件类型、创建时间等。本文为您介绍如何配置文件基本信息算子。

前提条件

  • 当前实例购买非结构化数据功能后,方可使用工作流功能。

  • 已完成工作流的创建,详细创建步骤请参见创建工作流

背景信息

  • 文件基本信息算子支持处理以下格式文件:pdf、jpg、png、arw、bmp、cr2、heic、nef、tiff、webp、html、csv、json、xml、md、txt、doc、aac、amr、avi、flac、flv、m4a、mkv、mov、mp3、mp4、mpeg、ogg、opus、wav、webm、wma、wmv。

  • 文件基本信息算子默认分配0.5Core、1GB资源。

权限说明

Basic项目的项目管理员、开发者、分析师以及拥有数据集-使用权限的自定义项目角色,可在算子的输入和输出数据集中使用该项目下的所有数据集。

操作步骤

  1. Dataphin首页的顶部菜单栏中,选择研发 > 数据研发

  2. 开发页面的顶部菜单栏选择项目

  3. 在左侧导航栏中选择数据处理 > 工作流,在左侧工作流列表中单击目标工作流,打开工作流画布,在左侧算子库中拖动文件基本信息算子至画布中,并在右侧文件基本信息面板中配置以下参数。

    参数

    描述

    步骤名称

    输入当前算子名称,支持任意字符,不超过256个字符。

    输入配置

    数据集

    选择需处理的数据集,仅可选择文件数据集混合数据集。数据集选择完成后还需选择其版本,默认为该数据集正序的第一个版本。

    当前算子作为其他算子的下游时,此处所选数据集通常与上游算子的输出数据集一致。

    输出配置

    数据集

    支持选择来源数据集其他数据集。当输入数据集选择混合数据集时,默认选择来源数据集;当输入数据集选择文件数据集时,默认选择其他数据集且不可修改。数据集选择完成后还需选择其版本,默认为该数据集正序的第一个版本。选择其他数据集时,支持选择来源数据集的其他版本。

    加载策略

    若所选输出数据集的元数据表中存在主键,则默认选择主键冲突时更新;若不存在主键,则默认选择追加数据。

    • 追加数据:直接向目标表新增追加数据,当主键/约束冲突时,会提示错误。

    • 主键冲突时更新:当主键/约束冲突时,会先删除整行主键重复的旧数据,再插入新数据。

    • 覆盖:先删除目标表的数据,再写入数据。

    说明

    输出数据集选择来源数据集时,加载策略仅支持主键冲突时更新

    字段映射

    文件基本信息算子将固定输出以下字段:

    • file_url:文件存储URL。

    • file_name:文件名称。

    • size:文件大小(bytes)。

    • file_extension:文件扩展名。

    • mime_type:MIME类型。

    • modified_time:修改时间。

    算子输出字段默认映射至输出数据集的同名字段,您也可以手动选择目标字段进行自定义映射。此外,支持将来源数据集的透传字段映射至目标数据集。您可以通过以下方式管理字段映射:

    • 新增输出字段:单击后新增一行空白字段映射关系。仅当输出数据集选择其他数据集,且为混合数据集时支持此功能。

    • 批量映射:单击后可选择批量手动映射、同名映射或同行映射。仅当输出数据集选择其他数据集,且为混合数据集时支持此功能。

    • 删除映射:单击删除图标可删除对应行的字段映射,但算子固定输出字段的映射不支持删除。

  4. 配置完成后,单击画布顶部菜单栏中的保存,保存此次配置。

    单个算子配置完成后,可继续为其选择上游或下游算子来完成完整工作流的配置。