本文为您介绍如何将数据源的数据集成到您的工作空间。

前提条件

已将数据源的数据导入Dataphin平台，详情请参见步骤二：引入数据。

背景信息

  • 如果您是在2020年4月份之后购买的Dataphin，则数据同步能力已升级为数据集成。数据集成为您提供简单高效、安全可靠的数据同步平台。
  • 如果您是在2020年4月份之前购买的Dataphin，则数据源的数据通过数据同步的方式，同步到您的工作空间，详情请参见数据同步。

操作步骤

  1. 登录Dataphin控制台。
  2. 在Dataphin控制台页面，选择工作区地域后，单击进入Dataphin>>。
  3. 进入数据集成页面。
    1. 在Dataphin首页，单击顶部菜单栏的研发。
    2. 在数据开发页面，单击项目名称后的test图标，选择数据开发的项目空间（Dev或Basic项目）。
      如果您当前访问的是Dev或Basic项目，且项目空间为您的数据开发空间，则不需要选择项目空间。
    3. 在数据开发页面，将鼠标悬停在顶部菜单栏中的开发上，单击集成。
  4. 创建管道开发脚本。
    1. 在数据集成页面，您可以通过以下任何一种方式，进入创建管道开发脚本页面。
      • 将鼠标悬停在ddd图标，单击离线单条管道。sss
      • 将鼠标悬停在图标，单击离线单条管道。ddd
    2. 根据创建管道开发脚本对话框提示，配置参数。
      ddd
      参数 描述
      管道名称 填写管道名称。
      调度类型 调度类型选择手动节点。
      描述 填写对离线单条管道的简单描述。
      选择目录 默认目录为代码管理。
    3. 单击确定。
  5. 开发离线管道脚本。
    1. 在离线单条管道脚本的开发页面，单击页面右上角的组件库。
    2. 单击输入前的dgd图标后，单击MySQL组件拖动到左侧的管道画布中。
    3. 将鼠标悬停在组件框内并右键单击，选择属性配置后，根据页面提示完成组件的基本配置。
      ceshi
      参数 描述
      步骤名称 根据当前组件的使用场景，填写名称。
      数据源 选择数据源。选取Dataphin系统中已配置的数据源，且数据源需同时具备以下两个条件：
      • 数据源类型为MySQL。
      • 执行属性配置的账号具有该数据源的同步读权限，如果没有权限，则需要申请数据源权限，详情请参见。
      同时您可以单击数据源后的dfag图标，进入规划模块添加数据源。
      来源表量 选择单表。
      表 选择来源表company_sales_record_copy。
      切分键 不需要添加切分键。
      输入过滤 不需要添加过滤条件。
      输出字段 查看输出字段。
    4. 单击确认，完成输入组件的属性配置。
    5. 单击输出前的dgd图标后，单击MySQL组件拖动到左侧的管道画布中。
    6. 单击下图中输入组件（MySQL）①处后拖动并指向输出组件（MySQL）的②处，形成有向连线。
      ceshi
    7. 将鼠标悬停在组件框内并右键单击，选择属性配置。根据对话框提示，配置参数。
      ceshi
      参数 说明
      步骤名称 根据当前组件的使用场景，填写组件名称。
      数据源 选择您项目绑定的数据源 。
      表 选择输出数据的目标表（dataphin_test）。
      加载策略 选择数据写入目标表的策略选择为追加数据。
      解析方案 不需要选择。
      输入字段 根据上游的输入，为您展示输入字段。
      输出字段 为您展示输出字段。
      快速映射 映射关系选择为同名映射的操作步骤：
      1. 单击快速映射后的ceshi图标。
      2. 选择同名映射。
      3. 在提醒对话框中，单击确定。
    8. 单击确认，完成输出组件的属性配置。
  6. 单击管道开发脚本页面左上角的预览，可以预览数据集成的是否可以执行成功。
    • 如果组件中有变量配置时（例如bizdate），则需要根据页面提示配置参数后，单击确定，即可预览运行管道脚本。
    • 如果组件中没有变量配置，则直接预览运行。
  7. 单击管道开发脚本页面左上角的执行，就可以将业务数据源的数据同步至您工作空间的目标数据源中。
    • 如果组件中有变量配置时（例如bizdate），则需要根据页面提示配置参数后，单击确定，即可执行管道脚本。
    • 如果组件中没有变量配置，则直接执行管道脚本。
  8. 保存、提交和发布离线单条管道脚本。
    1. 单击页面右上方的gaga图标，保存管道脚本。
    2. 单击页面右上方的dggd图标，提交管道脚本。
      提交管道脚本时，系统会校验您是否具有以下权限：
      • 输入组件中的数据源的读权限。
      • 输出组件中的数据源的写权限。
    3. 可选：发布离线单条管道脚本。
      • 如果您的开发模式是Dev-Prod，则需要发布已提交的离线单条管道脚本，详情请参见发布管理。
      • 如果您的开发模式是Basic，则不需要发布已提交的离线单条管道脚本。