规划数仓

本文为您介绍如何规划数仓。

前提条件

  • 完成Dataphin的开通及配置,详情请参见准备工作

  • 完成Dataphin数据源的构建,详情请参见准备工作

  • 完成MaxCompute项目的创建,详情请参见准备工作

创建数据板块和主题域

操作步骤

  1. 登录Dataphin控制台

  2. 在Dataphin首页,单击顶部菜单栏的规划

  3. 在数据板块页面,单机新建数据板块1

  4. 创建数据板块。

    1. 在新建数据板块页面中,生产开发类型选择Dev-Prod 模式,操作完成后单击下一步1

    2. 在板块定义中,配置基础信息与业务信息。

      参数

      描述

      公用英文名

      输入为beginner_test

      公用名称

      输入为入门教程

      描述

      输入简单的描述。例如,入门教程

      图标

      选择gaga图标。

      数据板块架构师

      负责板块信息设置,包括基本信息更新、业务信息更新、单元管理等。

      业务负责人

      为板块数据的业务使用稳定性负责,可根据需要进行选择。

      数据负责人

      为板块数据生产质量保障负责,可根据需要进行选择。

    3. 单击确定

  5. 创建主题域。

    1. LD_beginner_test数据板块页面,单击页面右侧的新建主题域1

    2. 新建主题域对话框中,配置参数。2

      参数

      描述

      主题域名称

      输入test_dataphin

      主题域英文名

      输入test_dataphin

      英文缩写

      输入test

      描述

      输入简单的描述,例如交易

    3. 单击确定

创建计算源

  1. 规划页面,单击左侧导航栏中的计算源

  2. 新建计算源对话框中,配置参数。

  3. 创建Dev项目计算源。

    1. 计算源页面中,单击新增计算源,选择MaxCompute计算源

      2
    2. 新建计算源对话框中,配置参数。1

    3. 参数

      描述

      计算源类型

      默认为MaxCompute,不支持修改。

      计算源名称

      输入test_dev_odps

      计算源描述

      输入Dev项目的计算源

      Endpoint

      默认为Dataphin实例计算引擎的Endpoint,不支持修改。

      Project Name

      输入test_dev_odps

      (DataWorks创建的MaxCompute(ODPS)项目名称)。

      Access ID

      访问密钥中的AccessKey ID,您可以通过用户信息管理页面获取。

      Access Key

      访问密钥中的AccessKey Secret,您可以通过用户信息管理页面获取。

    4. 单击测试连接

    5. 测试连接成功后,单击提交,完成Dev项目计算源的创建。

说明

根据创建Dev项目计算源的方法创建Prod计算源。

创建项目

  1. 规划页面,单击左侧导航栏中的项目管理

  2. 在项目管理页面,单击新建项目

  3. 新建项目对话框中,选择Dev-Prod模式后,单击下一步1

  4. 项目定义对话框中,配置归属板块、基本信息、业务信息、安全设置、更多设置等信息。

    1

    参数

    描述

    数据板块

    输入LD_beginner_test

    公用名称

    输入入门教程

    公用英文名

    输入beginner_test

    空间类型

    选择应用层

    说明

    • 空间类型可选择应用层中间层贴源层通用层

    • 应用层(ADS):面向业务需求,定义生成可应用于不同场景的个性化、多样化的数据指标。

    • 中间层(CDM):经过加工、清洗、汇总后的数据。

    • 贴源层(ODS):是在STG层数据加工汇总后形成的业务系统的原始数据。

    • 通用层:一般用于通用任务或者同时做多种类型的任务开发。

    项目1:Dev

    选择离线计算源为test_dev_odps

    项目2:Prod

    选择离线计算源为test_prod_odps

    安全设置

    • 数据读权限申请:默认为打开;关闭时,生产项目下物理表及元表不允许申请查询权限,已申请过读权限的不收回。

    • 数据写权限申请:默认为打开;关闭时,该生产项目下物理表及元表不允许申请写入权限,已申请过写权限的不收回。

    更多设置

    不同的空间类型选择不同的功能菜单,并可进行手工修改。

    说明

    • 应用层:默认选择业务限定、指标。

    • 中间层:默认选择维度逻辑表、事实逻辑表、原子指标、业务限定、指标。

    • 贴源层:无默认选择的功能菜单。

    • 通用层:默认选择维度逻辑表、事实逻辑表、原子指标、业务限定、指标、汇总逻辑表。

创建数据源

创建源数据源

  1. 规划页面,单击左侧导航栏中的数据源

  2. 数据源页面,单击新建数据源1

  3. 在新建数据源选择,搜索并选择MySQL

    1
  4. 新建MySQL数据源对话框,配置数据源信息。

    1

    参数

    描述

    数据源名称

    输入为dataphin

    版本

    选择为MySQL 5.6/5.7

    数据源描述

    对数据源简单的描述。

    数据源配置

    选择生产+开发数据源

    JDBC URL

    输入格式为jdbc:mysql://RDS ID.mysql.rds.aliyuncs.com:3306/dataphin

    。将RDS ID更换为您创建的RDS实例ID。

    用户名

    输入为dataphin

    密码

    输入您新建RDS时创建的用户名为dataphin的密码。

  5. 单击测试连接

  6. 连通性测试通过后,单击确定

创建目标数据源

  1. 规划页面,单击左侧导航栏中的数据源

  2. 数据源页面,单击新建数据源1

  3. 在新建数据源选择,搜索并选择MaxCompute

    1
  4. 新建MaxCompute数据源对话框,配置数据源信息。

    1

    参数

    描述

    数据源名称

    输入为目标数据源

    数据源描述

    输入为目标数据源

    数据源配置

    选择生产+开发数据源

    Endpoint

    输入HTTP协议的链接地址service.cn.maxcompute.aliyun.com/api

    Project Name

    • 开发环境输入为test_dev_odps

    • 生产环境输入为test_prod_odps

    Access ID

    访问密钥中的AccessKey ID,您可以通过用户信息管理页面获取。

    Access Key

    访问密钥中的AccessKey Secret,您可以通过用户信息管理页面获取。

  5. 单击测试连接

  6. 连通性测试通过后,单击确定

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈