本文为您介绍如何配置、复制、删除本地CSV组件及如何选择数据的发送方式。

前提条件

已准备好CSV文件。

背景信息

本地CSV输入组件适用于从本地CSV文件中读取数据至Dataphin平台,进行数据的整合和再加工的场景。

本地CSV组件仅适用于调度类型为手动节点的任务。

配置属性

  1. 在离线单条管道脚本的开发页面,单击页面右上角的组件库
  2. 单击输入前的dgd图标。
  3. 本地CSV组件拖到左侧的管道画布中。
  4. 鼠标悬停至本地CSV组件框内右键单击,选择属性配置
  5. 本地CSV输入配置对话框,配置参数。
    参数 说明
    步骤名称 根据当前组件的使用场景,填写名称。
    文件路径 单击选择文件,选择格式为.csv的文件。
    文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。
    字段分隔符 填写文件存储分割符,如果不填写,则系统默认为英文逗号(,)。
    首行内容类型 选择字段首行内容的类型。
    批量添加 以JSON格式批量添加输出字段。
    新建输出字段 新建输出字段:
    1. 单击新建输出字段
    2. 根据页面提示,配置来源序号字段,选择字段类型。

    对于已添加的字段,您可以单击操作列下的test图标,删除字段。

  6. 单击确认,完成本地CSV输入组件的属性配置。

复制本地CSV组件

  1. 鼠标悬停至本地CSV组件框内右键单击,单击复制
  2. 在管道画布中右键单击后,选择粘贴,完成本地CSV输入组件的复制。

删除本地CSV组件

  1. 鼠标悬停至本地CSV组件框内右键单击,单击删除
  2. 在确认弹框中单击确定,完成本地CSV输入组件的删除。

选择数据的发送方式

当输入组件在连接多个下游组件时,需要选择输入组件的数据发送到下游节点的方式。

  1. 鼠标悬停至本地CSV组件框内右键单击,单击数据发送方式
  2. 根据业务场景选择数据发送的方式。
    • 复制:上游节点的数据根据下游节点数量进行等份复制,且每个下游节点的数据都是上游节点的全部数据。
    • 轮流分发:上游节点的数据根据下游节点数量进行轮流分发,且所有下游节点的数据之和等于上游节点的数据。