创建非结构化数据归集任务-智能数据建设与治理 Dataphin-阿里云-智能数据建设与治理 Dataphin(Dataphin)-阿里云帮助中心

非结构化数据归集，旨在将分散在不同地方的非结构化文件统一存储到指定位置，如OSS、数据湖等，它是非结构化数据处理的第一步，方便后续对非结构化数据进行处理。本文为您介绍如何创建数据归集任务。

使用限制

当前实例购买非结构化数据功能后，才可使用数据集输入/输出组件。
当前数据集输入和数据集输出仅支持在Basic项目下创建。

权限说明

以下项目角色支持在数据集输入/输出中使用该项目下的所有数据集：

Dev和Basic项目：项目管理员、开发者、分析师。
Prod项目：项目管理员、运维。
拥有数据集-使用权限的自定义项目角色。

操作步骤

步骤一：创建数据归集任务

在Dataphin首页的顶部菜单栏中，选择研发 > 数据集成。
在集成页面顶部菜单栏选择项目（Dev-Prod模式需要选择环境）。
在左侧导航栏选择非结构化数据 > 数据归集，在右侧数据归集列表中，单击图标，打开新建数据归集任务对话框。

在新建数据归集任务对话框中，配置以下参数。

参数	描述
任务名称	支持最长64个字符，不支持特殊字符：竖线（\|）、正斜线（/）、反斜线（\）、半角冒号（:）、半角问号（？）、尖括号（<>）、星号（*）、半角单引号（''）。
调度类型	选择管道的调度类型。调度类型包括：周期性节点：指需定期执行的任务。手动节点：指没有依赖关系，需手动触发的任务。
描述	填写数据归集的简单描述，1000个字符以内。
选择目录	选择任务所存放的目录。若未创建目录，您可以新建文件夹，操作方法如下：在页面左侧计算任务列表上方单击图标，打开新建文件夹对话框。在新建文件夹对话框中输入文件夹名称并根据需要选择目录位置。单击确定。

单击确定。

步骤二：输入输出配置

在画布左侧组件库中拖动输入输出组件，并在右侧面板中进行相应组件配置。

输入组件

文件输入

参数	描述
步骤名称	默认为文件输入_1，支持修改，可使用中文、英文、下划线（_）和数字。
数据源类型	可选择OSS、Amazon S3、FTP或HDFS。
数据源	仅可选择有同步读权限的数据源，若无适用数据源，可单击新建数据源来创建对应数据源，详情请参见创建OSS数据源、创建Amazon S3数据源、创建FTP数据源、创建HDFS数据源。单击图标，可复制数据源名称。
Object	支持通配符，可填写多个Object。例如：`category/*`代表读取`category/`开头的所有的对象。说明仅数据源类型为OSS或Amazon S3时，支持配置此项。
文件路径	可输入多个文件路径，多个路径间使用分号（；）分隔。输入路径时支持使用通配符。例如：`/bazhen/*`代表读取`bazhen`目录下所有的文件。说明仅数据源类型为FTP或HDFS时，支持配置此项。
输出字段	可输出字段采集于待归集文件的元数据，支持按照字段名称关键字进行搜索。

本地文件输入

说明

仅手动任务支持使用本地文件输入。

参数	描述
步骤名称	默认为本地文件输入_1，支持修改，可使用中文、英文、下划线（_）和数字。
文件路径	单击选择文件或拖动目标文件至文件路径区域，可选择多个文件，单个文件大小不超过500MB。
输出字段	根据所上传文件的元数据解析出输出字段，支持按照字段名称关键字进行搜索。

数据集输入

参数	描述
步骤名称	默认为数据集输入_1，支持修改，可使用中文、英文、下划线（_）和数字。
数据集	可选择当前项目下的表数据集和混合数据集，您可输入数据集名称关键字进行搜索，数据集选择完成后还需选择其版本。单击图标，可复制当前数据集名称。
Object	支持通配符，可填写多个Object。例如：`category/*`代表读取`category/`开头的所有的对象。
输出字段	根据指定路径下文件的元数据解析出输出字段，支持按照字段名称关键字进行搜索。

输出组件

文件输出

参数	描述
步骤名称	默认为文件输出_1，支持修改，可使用中文、英文、下划线（_）和数字。
数据源类型	可选择OSS、Amazon S3、FTP或HDFS。
数据源	仅可选择有同步写入权限的数据源，若无适用数据源，可单击新建数据源来创建对应数据源，详情请参见创建OSS数据源、创建Amazon S3数据源、创建FTP数据源、创建HDFS数据源。单击图标，可复制数据源名称。
Object前缀	仅需填写目录路径，目标文件名称默认与来源文件名一致。说明仅数据源类型为OSS或Amazon S3时，支持配置此项。
文件路径	仅需填写单个文件路径，目标文件名称默认与来源文件名一致。说明仅数据源类型为FTP或HDFS时，支持配置此项。
加载策略	OSS、Amazon S3、FTP数据源支持覆盖数据、追加数据和文件名冲突报错；HDFS数据源支持覆盖数据和追加数据。覆盖数据：写入前清理目录下文件名冲突的文件，再新增数据文件追加数据：直接向目标目录新增数据文件，并使用随机UUID的后缀名保证文件名不冲突。文件名冲突报错：若目录下存在文件名冲突的文件，运行时则直接报错。

数据集输出

参数	描述
步骤名称	默认为数据集成输出_1，支持修改，可使用中文、英文、下划线（_）和数字。
数据集	可选择当前项目下的表数据集和混合数据集，您可输入数据集名称关键字进行搜索，数据集选择完成后还需选择其版本。单击图标，可复制当前数据集名称。
Object前缀（非必填）	仅需填写目录路径，目标文件名称默认与来源文件名一致。
加载策略	覆盖数据：写入前清理目录下文件名冲突的文件，再新增数据文件追加数据：直接向目标目录新增数据文件，并使用随机UUID的后缀名保证文件名不冲突。文件名冲突报错：若目录下存在文件名冲突的文件，运行时则直接报错。
是否同步元数据	仅混合数据集支持同步元数据，选择是，则还需配置文件路径字段及字段映射。
文件路径字段	文件写入数据集后的文件路径指向字段，可选择所选数据集中选中是否URL的字段。
字段映射	根据上游输出的字段，可以手动选择元数据字段映射。来源字段：展示上游组件的输出字段列表。元数据字段：可选择数据集字段（不包含已选择的文件路径字段），不可重复选择。单击配置字段映射，可在字段映射对话框中进行批量操作，同时支持同行映射和同名映射。同名映射：对字段名称相同的字段进行映射。同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。

步骤三：配置数据归集任务属性

单击画布菜单栏的调度配置按钮，打开属性面板的调度配置页签。
在调度配置面板中，配置数据归集任务的基本信息、运行参数、调度配置、调度依赖、运行配置、资源配置。各配置说明如下：
- 基本信息：数据归集任务的基本信息，同离线集成任务的基本信息。您可配置开发负责人、运维负责人、标签及描述。配置说明，请参见配置离线集成管道基本信息。
- 运行参数：若您的任务中调用了参数变量，您可在属性中对参数进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。配置同离线集成任务的运行参数，详情请参见配置离线管道运行参数。
- 调度配置：对于周期性节点，调度配置用于定义数据归集任务在生产环境的调度方式，同离线集成任务的调度配置。详情请参见离线集成管道调度配置。
- 调度依赖：对于周期性节点，调度依赖用于定义数据归集任务在调度任务中的依赖节点，同离线集成任务的调度依赖。详情请参见离线集成管道调度依赖配置。
- 运行配置：您可根据业务场景为该数据归集任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。配置同离线集成任务的运行配置，详情请参见离线集成管道运行配置。
- 资源配置：您可为当前数据归集任务配置所属资源组，该数据归集任务将使用该资源组资源进行任务调度。配置同离线集成任务的资源配置，详情请参见配置离线集成管道任务资源。
单击属性面板的通道配置页签，为当前数据归集任务定义运行时的容错、并发数、JVM资源及数据库配置。配置同离线集成任务的通道配置（不支持配置流量监控），详情请参见离线集成管道通道配置。

步骤四：保存并提交数据归集任务

单击画布上方的保存图标，保存数据归集任务。
单击画布上方的提交图标，在提交备注对话框，填写备注信息后，单击确定并提交。
提交时，Dataphin将进行任务的血缘解析及提交检查。更多信息，请参见集成任务提交说明。

后续步骤

创建数据归集任务后，可前往数据归集任务列表中统一查看并管理数据归集任务。任务列表中除个别筛选项外（不支持来源表/topic/索引、目标表/topic/索引筛选项；来源数据源/项目/数据板块筛选项改为来源数据源/数据集、目标数据源/项目/数据板块筛选项改为目标数据源/数据集），其余均与离线集成任务列表相同，详情请参见查看离线集成任务列表。
数据归集任务运行后，可前往数据归集运行记录中统一查看任务运行相关信息。运行列表信息同离线集成任务，详情请参见查看及管理运行记录列表。
如果您的开发模式是Dev-Prod模式，则需要发布任务。更多信息，请参见管理发布任务。
如果您的开发模式是Basic模式，则提交成功后的任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请参见运维中心。