完成数据仓库的规划和数据源信息的配置后,您还需将您的源数据product表、customer表、orders表引入到项目中。本文将指导您如何将数据源的数据集成到您的创建的项目空间。
背景信息
product表、customer表、orders表的集成步骤相同,仅管道名称不同。本文以集成product表为例介绍如何集成product表至项目。
完成product表集成后,您还需参考本文集成customer表、orders表至项目。
步骤一:创建管道开发脚本
在Dataphin首页,单击顶部菜单栏的研发。
按照下图操作指引,选择dataphin_tutorial项目并进入创建管道开发脚本对话框。
在创建管道开发脚本对话框,配置参数。
参数
描述
管道名称
输入产品表集成。
调度类型
调度类型选择周期性节点。
描述
默认不填。可以填写对离线单条管道的简单描述。
选择目录
默认目录为离线管道。
单击确定。
步骤二:开发离线管道脚本
在离线单条管道开发页面,选中MySQL输入组件和MaxCompute输出组件并拖动至管道画布中,同时进行连接。如下图所示:
单击组件的图标,配置MySQL输入组件和MaxCompute输出组件。
MySQL输入组件
参数
描述
步骤名称
保持默认。
数据源
选择数据源dataphin_tutorial。
来源表量
选择单表。
表
选择来源表product。
切分键
无需添加切分键。
批量条数
默认为1024。
输入过滤
无需添加过滤条件。
输出字段
默认输出字段。
MaxCompute输出组件
参数
描述
步骤名称
保持默认。
数据源
选择项目/dataphin_tutorial(dataphin_tutorial)(当前项目)。
表
创建目标表:
单击一键生成目标表。
在代码输入框中,使用默认建表语句,无需修改。
单击新建。
加载策略
默认为追加数据。
映射关系
在映射关系中选择同名映射。
单击确定。
步骤三:配置管道脚本的调度参数
在管道脚本页面,单击调度配置。
在调度配置页面,配置调度依赖区域参数,其他参数保持默认。
参数
描述
上游依赖
单击添加根节点为上游依赖。
单击确定。
步骤四:提交和发布离线单条管道脚本
单击页面右上方的图标,提交管道脚本。
在提交备注对话框,输入备注信息。
单击确定并提交。