通过对逻辑表添加计算节点进行数据加工,使数据变成符合标准的数据。

前提条件

您已经设计数据模型,详细请参见设计数据模型

添加计算节点并发布版本

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单按钮,选择研发工作台 > 资产加工 > 数据开发,进入数据开发页面。
  3. 将鼠标悬浮到公共节点,单击进入,进入公共节点页面。
  4. 单击添加节点,将节点类型选择为Maxcompute_SQL,单击确定
  5. 添加节点页面,设置节点参数。
    1. 节点"ods_base_yhkh_di"SQL语句如下:
      insert overwrite table ${ods_base_yhkh_di}
      select
        t1.id,
        t1.zzhm,
        t1.khmc,
        t1.nl,
        t1.xb,
        case t1.xb when '0' then '1' when '1' then '2' end as c_xb_dm,
        case t1.xb when '0' then '男' when '1' then '女' end as c_xb_mc,
        substr(t1.yddh1, -11) as yddh1,
        t1.csrq,
        t1.jysp,
        case t1.jysp when '0' then '00' when '1' then '01' when '2' then '02'
        when '3' then '03' when '4' then '04' end as c_jysp_dm,
        case t1.jysp when '0' then '研究生' when '1' then '本科' when '2' 
        then '高中' when '3' then '职业高中' when '4' then '职业学院' end as c_jysp_mc,
        t1.career,
        case t1.career when '0' then '00' when '1' then '01' when '2' then '02' when '3'
        then '03' when '4' then '04' end as c_career_dm,
        case t1.career when '0' then '保险' when '1' then '教师' when '2' then '外企白领' 
        when '3' then '自由职业' when '4' then 'IT工程师' end as c_career_mc,
        t1.hyzk,
        case t1.hyzk when '0' then '00' when '1' then '01' end as c_hyzk_dm,
        case t1.hyzk when '0' then '已婚' when '1' then '未婚' end as c_hyzk_mc,
        t1.gz,
        t1.decdbyjyje,
        t1.decdbyjybs,
        t1.zjzdjyrq,
        t1.jtnsr,
        t1.dqckcy
      from
        ${stg_base_yhkh_di} t1
    2. 在页面右侧,单击节点属性,输入节点名称和节点标识。
      节点标识和节点名称配置:
      节点标识 节点名称
      ods_base_yhkh_di ods_base_yhkh_di
    3. 单击页面右侧运行属性,选择测试资源。
    4. 单击解析,在SQL解析页面,单击确定
    5. 节点输入:单击页面右侧参数变量 > 添加节点输入,选择目标数据模型。
    6. 节点输出:单击页面右侧参数变量 > 添加节点输出,选择目标数据模型。
      节点输入输出配置:
      节点code 节点描述 节点输入变量和数据模型 节点输出变量和数据模型
      ods_base_yhkh_di 银行客户信息 stg_base_yhkh_di ods_base_yhkh_di
    7. 单击左上角保存按钮,确认节点信息无误后,单击确定
    8. 单击运行按钮,弹出运行参数页面,输入默认值和参数名一致,单击确定,查看运行日志。
    9. 返回公共节点页面,查看添加的节点。公共节点
  6. 重复上述步骤添加其他节点。
    节点"ods_base_xykbkjl_di"SQL语句:
    insert overwrite table ${ods_base_xykbkjl_di}
    select
      t1.id,
      t1.cid,
      t1.climit,
      to_char(from_unixtime(t1.actdate),"yyyymmdd")  as actdate,
      t1.channel,
      t1.rid
    from
      ${stg_base_xykbkjl_di} t1;
    节点"dwd_khzx_khxx_di"SQL语句:
    insert overwrite table ${dwd_khzx_khxx_di} 
    select id,zzhm,khmc,nl,c_xb_mc,yddh1,
    csrq,c_jysp_mc,c_career_mc,c_hyzk_mc,
    gz,decdbyjyje,decdbyjybs,zjzdjyrq,jtnsr,
    dqckcy from ${ods_base_yhkh_di};
    节点"dwd_xykyw_bkjl_di"SQL语句:
    insert overwrite table ${dwd_xykyw_bkjl_di} 
    select
    a.id,
    a.cid,
    a.climit,
    a.actdate,
    a.channel,
    a.rid,
    b.nl,
    b.c_xb_mc,
    b.c_jysp_mc
    from ${ods_base_xykbkjl_di} a,${ods_base_yhkh_di} b where a.rid=b.zzhm;
    节点"dws_wp_xyk_di"SQL语句:
    insert overwrite table ${dws_wp_xyk_di} 
    select * from 
    ${dwd_xykyw_bkjl_di};
    节点"dws_ren_kh_di"SQL语句:
    insert overwrite table ${dws_ren_kh_di} 
    select * from 
    ${dwd_khzx_khxx_di};
    节点输入输出配置:
    节点名称和code 节点描述 节点输入变量和数据模型 节点输出变量和数据模型
    ods_base_xykbkjl_di 信用卡信息 stg_base_xykbkjl_di ods_base_xykbkjl_di
    dwd_khzx_khxx_di 银行客户信息 ods_base_yhkh_di dwd_khzx_khxx_di
    dwd_xykyw_bkjl_di 信用卡信息 ods_base_yhkh_di dwd_xykyw_bkjl_di
    ods_base_xykbkjl_di
    dws_wp_xyk_di 信用卡信息 dwd_xykyw_bkjl_di dws_wp_xyk_di
    dws_ren_kh_di 银行客户信息 dwd_khzx_khxx_di dws_ren_kh_di
  7. 在公共节点页面,单击待发布节点操作列的发布,在发布节点页面,填写新版本后,单击确定,页面提示发布成功,表示已生成一个正式版本。

节点加工后的数据探查

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单,选择研发工作台
  3. 在左侧导航栏,单击数据探查 > 物理表探查,查看物理表数据。
    1. 在物理表探查展开区域,单击MaxCompute云计算资源。
    2. 在关键词搜索栏,输入加工后的节点输出表表名,并单击该表名,在数据预览页面查看物理表数据详情。