规划数仓
本文为您介绍如何规划数仓。
前提条件
创建数据板块和主题域
操作步骤
登录Dataphin控制台。
在Dataphin首页,单击顶部菜单栏的规划。
在数据板块页面,单机新建数据板块。
创建数据板块。
在新建数据板块页面中,生产开发类型选择Dev-Prod 模式,操作完成后单击下一步。
在板块定义中,配置基础信息与业务信息。
参数
描述
公用英文名
输入为beginner_test。
公用名称
输入为入门教程。
描述
输入简单的描述。例如,入门教程。
图标
选择
图标。
数据板块架构师
负责板块信息设置,包括基本信息更新、业务信息更新、单元管理等。
业务负责人
为板块数据的业务使用稳定性负责,可根据需要进行选择。
数据负责人
为板块数据生产质量保障负责,可根据需要进行选择。
单击确定。
创建主题域。
在LD_beginner_test数据板块页面,单击页面右侧的新建主题域。
在新建主题域对话框中,配置参数。
参数
描述
主题域名称
输入test_dataphin。
主题域英文名
输入test_dataphin。
英文缩写
输入test。
描述
输入简单的描述,例如交易。
单击确定。
创建计算源
在规划页面,单击左侧导航栏中的计算源。
在新建计算源对话框中,配置参数。
创建Dev项目计算源。
在计算源页面中,单击新增计算源,选择MaxCompute计算源。
在新建计算源对话框中,配置参数。
参数
描述
计算源类型
默认为MaxCompute,不支持修改。
计算源名称
输入test_dev_odps。
计算源描述
输入Dev项目的计算源。
Endpoint
默认为Dataphin实例计算引擎的Endpoint,不支持修改。
Project Name
输入test_dev_odps
(DataWorks创建的MaxCompute(ODPS)项目名称)。
Access ID
访问密钥中的AccessKey ID,您可以通过用户信息管理页面获取。
Access Key
访问密钥中的AccessKey Secret,您可以通过用户信息管理页面获取。
单击测试连接。
测试连接成功后,单击提交,完成Dev项目计算源的创建。
根据创建Dev项目计算源的方法创建Prod计算源。
创建项目
在规划页面,单击左侧导航栏中的项目管理。
在项目管理页面,单击新建项目。
在新建项目对话框中,选择Dev-Prod模式后,单击下一步。
在项目定义对话框中,配置归属板块、基本信息、业务信息、安全设置、更多设置等信息。
参数
描述
数据板块
输入LD_beginner_test。
公用名称
输入入门教程。
公用英文名
输入beginner_test。
空间类型
选择应用层。
说明空间类型可选择应用层、中间层、贴源层、通用层。
应用层(ADS):面向业务需求,定义生成可应用于不同场景的个性化、多样化的数据指标。
中间层(CDM):经过加工、清洗、汇总后的数据。
贴源层(ODS):是在STG层数据加工汇总后形成的业务系统的原始数据。
通用层:一般用于通用任务或者同时做多种类型的任务开发。
项目1:Dev
选择离线计算源为test_dev_odps。
项目2:Prod
选择离线计算源为test_prod_odps。
安全设置
数据读权限申请:默认为打开;关闭时,生产项目下物理表及元表不允许申请查询权限,已申请过读权限的不收回。
数据写权限申请:默认为打开;关闭时,该生产项目下物理表及元表不允许申请写入权限,已申请过写权限的不收回。
更多设置
不同的空间类型选择不同的功能菜单,并可进行手工修改。
说明应用层:默认选择业务限定、指标。
中间层:默认选择维度逻辑表、事实逻辑表、原子指标、业务限定、指标。
贴源层:无默认选择的功能菜单。
通用层:默认选择维度逻辑表、事实逻辑表、原子指标、业务限定、指标、汇总逻辑表。
创建数据源
创建源数据源
在规划页面,单击左侧导航栏中的数据源。
在数据源页面,单击新建数据源。
在新建数据源选择,搜索并选择MySQL。
在新建MySQL数据源对话框,配置数据源信息。
参数
描述
数据源名称
输入为dataphin。
版本
选择为MySQL 5.6/5.7。
数据源描述
对数据源简单的描述。
数据源配置
选择生产+开发数据源。
JDBC URL
输入格式为
jdbc:mysql://RDS ID.mysql.rds.aliyuncs.com:3306/dataphin
。将RDS ID更换为您创建的RDS实例ID。
用户名
输入为dataphin。
密码
输入您新建RDS时创建的用户名为dataphin的密码。
单击测试连接。
连通性测试通过后,单击确定。
创建目标数据源
在规划页面,单击左侧导航栏中的数据源。
在数据源页面,单击新建数据源。
在新建数据源选择,搜索并选择MaxCompute。
在新建MaxCompute数据源对话框,配置数据源信息。
参数
描述
数据源名称
输入为目标数据源。
数据源描述
输入为目标数据源。
数据源配置
选择生产+开发数据源。
Endpoint
输入HTTP协议的链接地址
service.cn.maxcompute.aliyun.com/api
。
Project Name
开发环境输入为test_dev_odps。
生产环境输入为test_prod_odps。
Access ID
访问密钥中的AccessKey ID,您可以通过用户信息管理页面获取。
Access Key
访问密钥中的AccessKey Secret,您可以通过用户信息管理页面获取。
单击测试连接。
连通性测试通过后,单击确定。