本文通过一个SFTP > SMB的集成示例介绍应用集成对文件的共享能力。

前提条件

背景信息

通过集成流配置可以从SFTP服务器下载目标文件,实现将文件共享到SMB指定目录。

通过创建的集成,将完成以下动作:

  1. 从SFTP服务器的incoming目录下载目标文件“data.tsv”。
  2. 将文件“data.tsv”共享到SMB根目录下。

创建连接

本示例中会用到SFTP和SMB,所以需要借助连接器创建对应的连接。

  • 创建SFTP连接,详情请参见创建连接

    SFTP连接器的参数说明请参见FTP 和 FTPS

  • 创建SMB连接,详情请参见创建连接

    SMB连接器的参数说明请参见SMB

创建空白集成

  1. 登录应用集成控制台
  2. 在顶部菜单栏选择地域
  3. 在左侧导航栏选择集成 > 集成列表
  4. 集成列表页面选择工作空间,单击新建集成
  5. 创建集成面板中创建方式选择为空白流,输入名称,然后单击创建
  6. 集成创建后,返回集成设计页面,选择接下来的操作。
    • 在页面左上角选择工作空间,然后在右上角单击保存,创建一个空集成。
    • 在页面左上角单击 ,在列表中单击Flow,创建集成流。详情请参见创建集成流

创建集成流

  1. 集成设计页面左上角单击 ,在列表中单击Flow,创建集成流。
    也可以在页面中单击点击创建,在列表中单击Flow,创建集成流。
  2. 选择触发器,实现从SFTP服务器下载目标文件。
    1. 创建新集成流对话框输入名称,并选择之前创建的SFTP作为触发器,然后单击创建
      创建新集成流-SFTP触发器
    2. 选择operation对话框Download右侧,单击选择
      选择operation
    3. 步骤配置对话框设置SFTP下载参数,然后单击确定
      步骤配置-从SFTP下载文件
      从SFTP服务器下载文件的参数说明如下:
      参数 描述 是否必须
      下一次轮询之前的毫秒 轮询时间间隔。
      是否下载后删除文件 是否下载后从服务器删除文件。
      文件名表达式 解析为文件名的简单语言表达式,本场景设置为data.tsv
      说明 建议限制文件名。如果不配置,则会递归到全部目录,有可能导致集成执行失败。
      是否递归扫描目录 是否扫描子目录下的文件。
      是否验证幂等性(避免重复消费) 在一定范围内验证文件是否被消费过,消费过的文件不会再次被消费。

      应用集成控制台会建立一个“文件绝对路径+文件修改时间”的集合,总共可存1000条数据,数据变更符合队列规则(LRU)。

      当“文件绝对路径”和“文件修改时间”都相同,且记录的数据在数据限制范围内,即代表文件已经被消费过,不会再次被消费。

      轮询开始前的毫秒数 开始轮询之前等待的时间。
      SFTP目录 要下载文件的SFTP目录名,本场景设置为incoming
    4. 设置inputDataShape对话框选择scheme列表中选择任意类型,然后单击创建选择scheme-任意类型
    创建完成后,集成流即包含了从SFTP服务器下载文件的触发器。SFTP-触发器结果
  3. 在集成流中添加SMB连接,实现文件共享。
    1. 在集成流中Download后单击
    2. 选择组件类型对话框单击Connection,然后单击之前新建的SMB连接。
    3. 选择operation对话框中Upload右侧单击选择
    4. 步骤配置对话框设置参数,然后单击确定
      将文件上传到SMB服务器的参数说明请参见将文件上传到SMB服务器SMB 步骤配置-上传文件
    5. 设置inputDataShape对话框选择scheme列表中选择任意类型,然后单击创建选择scheme-任意类型
  4. 集成设计页面右上角单击保存,保存集成流。
    实现文件共享功能的集成流创建完成。文件共享集成流创建完成
    注意 返回集成设计页面时,请及时在页面右上角单击保存,以免添加的步骤丢失。

部署集成

集成创建并保存后,需要对集成进行部署。详情请参见部署集成示例

结果验证

  • 在SMB服务器指定目录查看文件。

    登录SMB服务器,查看根目录下是否存在data.tsv文件。

  • 验证集成部署是否正常运行。

    查看目标集成的执行记录,其执行日志状态是否为SUCCESS