购房群体分析简单教程

创建MaxCompute表

1. 进入数据开发页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与运维 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 在数据开发页面，鼠标悬停至图标，单击新建表 > MaxCompute > 表。

   

3. 在新建表对话框中，选择相应的路径，输入名称为bank_data，单击新建。

4. 在表的编辑页面，单击左上角的DDL按钮。在DDL对话框中输入如下建表语句，单击生成表结构。

   点击查看SQL语句。

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT '年龄',
    job             STRING COMMENT '工作类型',
    marital         STRING COMMENT '婚否',
    education       STRING COMMENT '教育程度',
    default         STRING COMMENT '是否有信用卡',
    housing         STRING COMMENT '房贷',
    loan            STRING COMMENT '贷款',
    contact         STRING COMMENT '联系途径',
    month           STRING COMMENT '月份',
    day_of_week     STRING COMMENT '星期几',
    duration        STRING COMMENT '持续时间',
    campaign        BIGINT COMMENT '本次活动联系的次数',
    pdays           DOUBLE COMMENT '与上一次联系的时间间隔',
    previous        DOUBLE COMMENT '之前与客户联系的次数',
    poutcome        STRING COMMENT '之前市场活动的结果',
    emp_var_rate    DOUBLE COMMENT '就业变化速率',
    cons_price_idx  DOUBLE COMMENT '消费者物价指数',
    cons_conf_idx   DOUBLE COMMENT '消费者信心指数',
    euribor3m       DOUBLE COMMENT '欧元存款利率',
    nr_employed     DOUBLE COMMENT '职工人数',
    y               BIGINT COMMENT '是否有定期存款'
   );

5. 生成表结构后，在基本属性模块输入表的中文名，并分别单击提交到开发环境和提交到生产环境。

   说明

   本示例以标准模式的工作空间为例。如果您使用的是简单模式的工作空间，仅需单击提交到生产环境即可。

6. 以相同方式，创建表result_table，DDL建表语句如下。

   CREATE TABLE IF NOT EXISTS result_table
   (  
    education   STRING COMMENT '教育程度',
    num         BIGINT COMMENT '人数'
   );

7. 在左侧导航栏，单击图标进入表管理页面。双击打开相应的表名，即可查看表信息。

上传数据至bank_data表

导入本地文件banking.txt至DataWorks中，并将数据写入bank_data表。

1. 在数据开发页面，单击图标。

   

2. 在数据导入向导对话框中，搜索需要导入数据的bank_data表，单击下一步。

   说明

   如果您创建表后无法在此处搜索到该表，请先在数据地图进行手工同步表操作后，再在此处尝试搜索该表，手工同步详情可参考文档：手动刷新表元数据。

3. 文件格式为自定义文本文件，单击选择文件后的浏览...。选择本地数据文件，配置导入信息。其他选项保持默认即可。

   说明

   更多参数介绍，请参见上传数据。

4. 单击下一步，选择目标表字段与源字段的匹配方式为按位置匹配，单击导入数据即可完成数据的导入。

确认数据成功上传

1. 在左侧导航栏，单击图标进入临时查询面板，右键单击临时查询，选择新建节点 > ODPS SQL。

2. 在新建节点中输入SQL语句查询数据，并单击运行。

   SELECT * FROM bank_data limit 10；

   说明

   运行MaxCompute任务时，会展示费用预估，该费用由MaxCompute侧收取，仅作为预估费用，实际费用请以账单为准。具体计费细节，请参见MaxCompute计费项与计费方式。

3. 运行成功之后，在页面下方您将获得bank_data的前10条记录。此时，表示您成功上传本地数据至bank_data表。

   

创建业务流程

1. 在页面左导航栏侧，切换至数据开发页面，鼠标悬停至图标，单击新建业务流程。

2. 在新建业务流程对话框中，输入业务名称和描述，单击新建完成业务流程创建。本示例名称为买房群体分析。

创建节点并配置依赖

在业务流程中创建一个虚拟节点（start）和ODPS SQL节点（insert_data），并配置依赖关系为insert_data依赖于start。

1. 双击业务流程名称进入开发面板，单击左上角的，在节点列表中单击通用 > 虚拟节点。

   

2. 在新建节点对话框中，选择相应的路径，输入节点名称为start，单击确认。

3. 以同样的操作新建一个MaxCompute > ODPS SQL节点，命名为insert_data。

4. （可选）以同样的操作新建一个数据集成 > 离线同步节点，命名为write_result。

5. 双击业务流程名称进入开发面板，通过拖拽连线，形成如下图数据加工链路。

   

配置虚拟节点

在业务流程中，虚拟节点通常作为整个业务流程的起始点，是业务流程中所有节点的间接上游节点。通常使用工作空间根节点作为虚拟节点依赖的上游节点。

1. 双击虚拟节点名称，进入节点的编辑页面。

2. 单击节点编辑页面右侧的调度配置。

3. 在调度依赖区域，单击使用工作空间根节点，设置虚拟节点的上游节点为工作空间根节点。同时，设置重跑属性为任一选项。

   

4. 点击左上角工具栏中的按钮，保存节点。

配置数据处理节点

本节将在ODPS_SQL节点insert_data中，通过SQL代码，查询单身人士贷款买房的受教育水平分布数量并保存结果，以便后续节点继续分析或展现。

1. 双击业务流程名称进入开发面板，双击insert_data节点进入编辑页面，输入下述SQL语句。

   INSERT OVERWRITE TABLE result_table  --插入数据至result_table中。
   SELECT education
       , COUNT(marital) AS num
   FROM bank_data
   WHERE housing = 'yes'
       AND marital = 'single'
   GROUP BY education;

2. 右键单击代码中的bank_data，单击删除输入。

   

   说明

   bank_data表为非周期性调度产出的表，通过删除输入或在代码最上方添加规则注释，系统将不会解析该依赖。更多详情，请参见通过自动解析功能基于表血缘设置节点依赖。

3. 点击左上角工具栏中的按钮，保存节点。

运行任务和查看加工数据

1. 单击运行该数据处理节点。运行结束后，即可在页面下方查看运行日志和结果。

2. 在左侧导航栏，单击图标进入临时查询面板，右键单击临时查询，选择新建节点 > ODPS SQL。

3. 在新建节点中输入SQL语句查询数据，并单击运行。

   SELECT * FROM result_table；

   说明

   运行MaxCompute任务时，会展示费用预估，该费用由MaxCompute侧收取，仅作为预估费用，实际费用请以账单为准。具体计费细节，请参见MaxCompute计费项与计费方式。

4. 运行成功之后，在页面下方您将获得result_table的结果。此时，表示您成功从bank_data表中加工获取到需要数据。该表格展示了贷款买房单身人士中的受教育水平以university.degree和high.school为主。

   

5. 单击结果区的图标进入图标分析，切换图标类型为饼图，即可得到一张买房群体的受教育水平分布表。

   

新增数据源

1. 进入管理中心页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的更多 > 管理中心，在下拉框中选择对应工作空间后单击进入管理中心。

2. 单击左侧导航栏的数据源 > 数据源列表，进入数据源列表页面。

3. 单击新增数据源，在新增数据源对话框中选择数据源类型为MySQL。

4. 配置数据源信息。

   在创建MySQL数据源对话框，配置各项参数。本文以创建阿里云实例模式类型为例。核心参数说明如下。

   参数	描述

   参数	描述
   适用环境	分别配置开发环境及生产环境的数据源。
   配置模式	选择阿里云实例模式。
   所属云账号	选择当前云账号。
   地域	选择相应地域。
   实例	选择已创建的RDS MySQL实例。选择实例后，可单击获取最新地址，查看实例相关信息。 若无可用实例，您可进入RDS控制台创建新的实例。
   数据库登录信息	此处配置为该数据源对应的默认数据库名称，您需要输入登录数据库的用户名称及密码。

5. 找到当前工作空间绑定的Serverless资源组，单击测试连通性。

   说明

   您需确保该资源组与数据源连通成功，以便正常访问用户数据源。否则，将导致数据同步任务无法正常执行。更多详情，请参见网络连通方案。

6. 测试连通性通过后，单击完成创建，数据源创建完成。

配置同步任务

配置write_result同步任务，将result_table表中的数据写入至自己的MySQL数据库中。

1. 进入数据开发页面。

   登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据开发与运维 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 双击业务流程名称进入开发面板，双击write_result节点进入配置页面。

3. 配置同步任务。

   1. 在节点编辑页面的网络与资源配置页签，配置数据来源为MaxCompute(ODPS)、数据去向为MySQL，并选择用于执行同步任务的资源组，测试数据源与资源组的网络连通性。网络连通性配置，详情请参见网络连通方案。

   2. 单击下一步，进入任务配置界面。

   3. 配置数据来源与去向。

      数据来源选择result_table表，数据去向选择odps_result表。

   4. 配置字段映射。此处默认进行同名映射，无需操作。

   5. 配置通道控制。设置脏数据策略，其他参数保持默认即可。

      说明

      更多参数可根据业务需求选择配置，详情可参考通过向导模式配置离线同步任务。

4. 配置时间属性。

   1. 单击编辑页面右侧导航栏的调度配置。

      说明

      手动业务流程中创建的节点需要手动触发，无法通过调度执行。

   2. 在时间属性区域，配置任务的调度时间属性。未提及参数保持默认即可。

   

   参数	描述

   参数	描述
   调度周期	设置每周一、周二的00:00点启动调度。
   重跑属性	设置运行成功或失败后皆可重跑。

   说明

   更多时间属性介绍，详情请参见时间属性配置说明。

5. 单击工具栏的图标，保存任务的配置。

运行任务和查看同步数据

1. 单击运行该数据同步节点。运行结束后，即可在页面下方查看运行日志和结果。

2. 通过DMS登录RDS数据库，查询odps_result，确保数据已经完成同步写入。

   SELECT * FROM `ODPS_RESULT`;