本章节为您介绍如何添加计算节点进行数据加工。

前提条件

您已经新建数据模型,详细请参见:设计数据模型

背景信息

可以对逻辑表添加计算节点进行数据的加工,使数据变成符合标准的数据。

添加计算节点并发布版本

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单按钮,选择研发工作台 > 资产加工 > 数据建模,进入数据建模页面。
  3. 单击左侧导航栏场景加工 > 公共节点 > 添加节点
  4. 弹出添加节点页面,填写节点名称和code,服务类型选择为“离线服务”、计算资源类型为“MaxCompute”,作业类型为“SQL",单击下一步
    1. 输入SQL语句。
      节点"ods_base_yhkh_di"SQL语句:
      insert overwrite table ${ods_base_yhkh_di}
      select
        t1.id,
        t1.zzhm,
        t1.khmc,
        t1.nl,
        t1.xb,
        case t1.xb when '0' then '1' when '1' then '2' end as c_xb_dm,
        case t1.xb when '0' then '男' when '1' then '女' end as c_xb_mc,
        substr(t1.yddh1, -11) as yddh1,
        t1.csrq,
        t1.jysp,
        case t1.jysp when '0' then '00' when '1' then '01' when '2' then '02'
        when '3' then '03' when '4' then '04' end as c_jysp_dm,
        case t1.jysp when '0' then '研究生' when '1' then '本科' when '2' 
        then '高中' when '3' then '职业高中' when '4' then '职业学院' end as c_jysp_mc,
        t1.career,
        case t1.career when '0' then '00' when '1' then '01' when '2' then '02' when '3'
        then '03' when '4' then '04' end as c_career_dm,
        case t1.career when '0' then '保险' when '1' then '教师' when '2' then '外企白领' 
        when '3' then '自由职业' when '4' then 'IT工程师' end as c_career_mc,
        t1.hyzk,
        case t1.hyzk when '0' then '00' when '1' then '01' end as c_hyzk_dm,
        case t1.hyzk when '0' then '已婚' when '1' then '未婚' end as c_hyzk_mc,
        t1.gz,
        t1.decdbyjyje,
        t1.decdbyjybs,
        t1.zjzdjyrq,
        t1.jtnsr,
        t1.dqckcy
      from
        ${stg_base_yhkh_di} t1
    2. 单击页面右侧运行属性,选择测试资源。
    3. 节点输入:单击页面右侧输入输出 > 添加输入信息,选择节点输入变量和数据模型,数据源类型为“Maxcompute”,在单击页面添加,选择节点输入变量和数据模型,数据源类型为“Maxcompute”。
    4. 节点输出:单击页面右侧添加输出信息,选择节点输出变量和数据模型,数据源类型为“Maxcompute”。
      节点输入输出配置:
      节点名称和code 节点描述 节点输入变量和数据模型 节点输出变量和数据模型
      ods_base_yhkh_di 银行客户信息 stg_base_yhkh_di ods_base_yhkh_di
    5. 单击左上角保存按钮,单击运行按钮,出现运行参数页面,输入默认值和参数名一致,单击确定,查看运行日志。
  5. 单击页面发布代码版本,弹出代码发布页面,填写新版本为“1.0.0”,单击确定
  6. 单击返回,页面返回到节点管理页面,查看新建的节点。

节点加工后的数据探查

  1. 登录数据资源平台控制台
  2. 在页面左上角单击菜单按钮,选择研发工作台 > 资产加工 > 数据探查,进入数据探查页面。
  3. 单击数据探查 > 物理表探查,进入物理表探查页面。
    1. 选中MaxCompute下的云计算资源,输入加工后节点输出表表名。
    2. 单击物理表操作数据预览,查看物理表数据预览。探查