通过对逻辑表添加计算节点、编排场景等,将散乱的多源异构数据加工成标准符合标准的数据。

前提条件

您已经新建数据模型,详细请参见设计字段标准

背景信息

MaxCompute 节点是离线节点,运行于 MaxCompute 类型的云计算资源之上,可处理 MaxCompute 类型的数据源。

添加计算节点并发布版本

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单,选择研发工作台 > 资产加工 > 数据开发,进入数据开发页面。
  3. 在左侧导航栏,将鼠标悬浮到公共节点,并单击进入,进入公共节点页面。
  4. 在公共节点页面,单击添加节点,将节点类型选择为MaxCompute_SQL,单击确定
  5. 添加节点页面,输入SQL语句。
    1. 节点“ods_base_yhkh_di”SQL语句如下:
      insert overwrite table ${ods_base_yhkh_di}
      select
        t1.id,
        t1.zzhm,
        t1.khmc,
        t1.nl,
        t1.xb,
        case t1.xb when '0' then '1' when '1' then '2' end as c_xb_dm,
        case t1.xb when '0' then '男' when '1' then '女' end as c_xb_mc,
        substr(t1.yddh1, -11) as yddh1,
        t1.csrq,
        t1.jysp,
        case t1.jysp when '0' then '00' when '1' then '01' when '2' then '02'
        when '3' then '03' when '4' then '04' end as c_jysp_dm,
        case t1.jysp when '0' then '研究生' when '1' then '本科' when '2' 
        then '高中' when '3' then '职业高中' when '4' then '职业学院' end as c_jysp_mc,
        t1.career,
        case t1.career when '0' then '00' when '1' then '01' when '2' then '02' when '3'
        then '03' when '4' then '04' end as c_career_dm,
        case t1.career when '0' then '保险' when '1' then '教师' when '2' then '外企白领' 
        when '3' then '自由职业' when '4' then 'IT工程师' end as c_career_mc,
        t1.hyzk,
        case t1.hyzk when '0' then '00' when '1' then '01' end as c_hyzk_dm,
        case t1.hyzk when '0' then '已婚' when '1' then '未婚' end as c_hyzk_mc,
        t1.gz,
        t1.decdbyjyje,
        t1.decdbyjybs,
        t1.zjzdjyrq,
        t1.jtnsr,
        t1.dqckcy
      from
        ${stg_base_yhkh_di} t1
    2. 在页面右侧,单击节点属性,输入节点名称和节点标识。
      节点标识和节点名称配置:
      节点标识 节点名称
      ods_base_yhkh_di ods_base_yhkh_di
    3. 在页面右侧,单击运行属性,选择测试计算资源。
    4. 单击解析图标,在SQL解析页面,单击确定
    5. 节点输入:在页面右侧,单击参数变量 > 添加节点输入,选择目标数据模型。
    6. 节点输出:单击页面右侧参数变量 > 添加节点输出,选择目标数据模型。
      节点输入输出配置:
      节点code 节点描述 节点输入变量和数据模型 节点输出变量和数据模型
      ods_base_yhkh_di 银行客户信息 stg_base_yhkh_di ods_base_yhkh_di
    7. 单击左上角保存图标,确认节点信息无误后,单击确定
    8. 单击运行图标,弹出运行参数页面,输入默认值和参数名一致,单击确定,查看运行日志。
    9. 返回公共节点页面,查看新建的节点。公共节点
  6. 重复以上步骤添加其他节点。
    节点“ods_base_xykbkjl_di”SQL语句:
    insert overwrite table ${ods_base_xykbkjl_di}
    select
      t1.id,
      t1.cid,
      t1.climit,
      to_char(from_unixtime(t1.actdate),“yyyymmdd“)  as actdate,
      t1.channel,
      t1.rid
    from
      ${stg_base_xykbkjl_di} t1
    节点“dwd_khzx_khxx_di”SQL语句:
    insert overwrite table ${dwd_khzx_khxx_di} 
    select id,zzhm,khmc,nl,c_xb_mc,yddh1,
    csrq,c_jysp_mc,c_career_mc,c_hyzk_mc,
    gz,decdbyjyje,decdbyjybs,zjzdjyrq,jtnsr,
    dqckcy from ${ods_base_yhkh_di};
    节点“dwd_xykyw_bkjl_di”SQL语句:
    insert overwrite table ${dwd_xykyw_bkjl_di} 
    select
    a.id,
    a.cid,
    a.climit,
    a.actdate,
    a.channel,
    a.rid,
    b.nl,
    b.c_xb_mc,
    b.c_jysp_mc
    from ${ods_base_xykbkjl_di} a,${ods_base_yhkh_di} b where a.rid=b.zzhm;
    节点“dws_wp_xyk_di”SQL语句:
    insert overwrite table ${dws_wp_xyk_di} 
    select * from 
    ${dwd_xykyw_bkjl_di};
    节点“dws_ren_kh_di”SQL语句:
    insert overwrite table ${dws_ren_kh_di} 
    select * from 
    ${dwd_khzx_khxx_di};
    节点输入输出配置:
    节点名称和code 节点描述 节点输入变量和数据模型 节点输出变量和数据模型
    ods_base_xykbkjl_di 信用卡信息 stg_base_xykbkjl_di ods_base_xykbkjl_di
    dwd_khzx_khxx_di 银行客户信息 ods_base_yhkh_di dwd_khzx_khxx_di
    dwd_xykyw_bkjl_di 信用卡信息 ods_base_yhkh_di dwd_xykyw_bkjl_di
    ods_base_xykbkjl_di
    dws_wp_xyk_di 信用卡信息 dwd_xykyw_bkjl_di dws_wp_xyk_di
    dws_ren_kh_di 银行客户信息 dwd_khzx_khxx_di dws_ren_kh_di
  7. 在公共节点页面,单击待发布节点操作列的发布,在发布节点页面,填写新版本后,单击确定,页面提示发布成功,表示已生成一个正式版本。

创建测试场景

测试场景用于编排算法流程,只能在测试环境中创建。

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单按钮,选择研发工作台 > 资产加工 > 数据开发,进入数据开发页面。
  3. 在左侧导航栏,将鼠标悬浮到测试场景,并单击进入,进入测试场景页面。
  4. 单击新建测试场景,填写场景名称和code,单击确定,进入场景编排页面。
    创建测试场景配置:
    场景名称 场景code
    信息中心 xxzx
    1. 节点资源区域中,单击系统节点,并将输入数据节点拖至画布中。
    2. 单击选中画布中的节点,在节点属性输入对应的Node Name,在运行属性,选择云计算资源类型和数据模型。
      新建输入数据节点配置:
      Node Name 存储类型 数据模型
      银行客户信息 MaxCompute stg_base_yhkh_di
      信用卡信息 MaxCompute stg_base_xykbkjl_di
    3. 单击画布上添加的输入数据节点,单击页面右侧运行属性,选择测试和线上云计算资源,并输入测试配置线上配置的表名。
      新建输入数据节点配置:
      输入数据节点名称 测试/线上云计算资源 测试/线上配置表名
      银行客户信息 根据客户定义选择,测试和线上场景不能相同。 stg_base_yhkh_di
      信用卡信息 stg_base_xykbkjl_di
    4. 把左侧“Maxcompute”算法下新建的所有节点拖入到画布,并进行连线,连线过程中双击连接线设置上下游节点连接详情,出的输出code-数据类型和入的输入code-数据类型一致连线如下图:连线连线效果
    5. 单击画布上添加的自定义数据节点,单击页面右侧节点属性,选择节点版本为添加计算节点时生成的版本,单击参数变量,单击节点输出下的修改输出勾选修改输出,选择测试资源,输入输出表名,单击线上资源,勾选配置输出表,输入输出表名,单击返回。单击页面运行属性,选择测试和线上云计算资源。
      公共节点配置:
      节点名称 测试/线上云计算资源 测试/线上配置输出表名
      ods_base_yhkh_di 根据客户定义选择,测试和线上场景不能相同。 ods_base_yhkh_di
      ods_base_xykbkjl_di 根据客户定义选择,测试和线上场景不能相同。 ods_base_xykbkjl_di
      dwd_khzx_khxx_di 根据客户定义选择,测试和线上场景不能相同。 dwd_khzx_khxx_di
      dwd_xykyw_bkjl_di 根据客户定义选择,测试和线上场景不能相同。 dwd_xykyw_bkjl_di
      dws_ren_kh_di 根据客户定义选择,测试和线上场景不能相同。 dws_ren_kh_di
      dws_wp_xyk_di 根据客户定义选择,测试和线上场景不能相同。 dws_wp_xyk_di
    6. 单击保存按钮后单击部署,对测试场景进行部署,等待部署成功。部署成功
    7. 部署成功后,单击运行进行离线节点运行,弹出设置业务日期,单击确定,等待运行成功。测试场景运行成功
  5. 线上场景设置、部署和运行。
    1. 单击上线,对测试场景进行上线,页面跳转到线上场景,单击测试场景名称,等待场景部署完成。线上场景部署成功
    2. 部署成功后,单击线上场景名称后,单击运行进行离线节点运行,弹出设置业务日期,单击确定,等待运行成功。线上场景运行成功

场景加工后的数据探查

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单按钮,选择研发工作台 > 资产加工 > 数据探查,进入数据探查页面。
  3. 在左侧导航栏,单击数据探查 > 物理表探查,以“ods_base_xykbkjl_di”为例,查看物理表数据。
    1. 在物理表探查展开区域,单击MaxCompute云计算资源。
    2. 在关键词搜索栏,输入加工后的节点输出表表名,并单击该表名,在数据预览页面查看物理表数据详情。探查