使用 MaxCompute 客户端体验数据分析

3.1 下载并解压MaxCompute客户端安装包

1. 下载最新版本MaxCompute客户端安装包（Github）。

2. 解压下载的安装包文件，得到以下文件夹：

   • bin：可执行文件目录

   • conf：配置文件目录

   • lib：库文件目录

   • plugins：插件目录

3. 记录安装包的解压路径，后续操作需要用到。

3.2 配置客户端

1. 进入conf文件夹，找到odps_config.ini配置文件。

2. 使用文本编辑器打开odps_config.ini文件，配置以下字段：

   project_name=<your_project_name>
   access_id=<your_access_key_id>
   access_key=<your_access_key_secret>
   end_point=https://service.ap-southeast-1.maxcompute.aliyun.com/api

   配置说明：

   • project_name：填写步骤二中创建的MaxCompute项目名称

   • access_id：填写步骤1.2中创建的AccessKey ID

   • access_key：填写步骤1.2中创建的AccessKey Secret

   • end_point：MaxCompute服务的连接地址。本教程使用新加坡地域的Endpoint

   重要

   如果您在步骤一中选择的地域不是新加坡，需要自行查找您所选地域对应的公网 Endpoint。

3.3 启动MaxCompute客户端

您可以通过以下两种方式启动MaxCompute客户端：

预期结果：客户端启动成功，返回如下信息，表明已成功连接MaxCompute项目：

          __                         __
 ___  ___/ /___   ___ ____ __ _  ___/ /
/ _ \/ _  // _ \ (_-</ __//  ' \/ _  / 
\___/\_,_// .__//___/\__//_/_/_/\_,_/  
         /_/                           
Aliyun ODPS Command Line Tool
Version x.xx.x-public
@Copyright 2026 Alibaba Cloud Computing Co., Ltd. All rights reserved.
Connecting to https://service.ap-**.maxcompute.aliyun.com/api, project: <your_project_name>
Endpoint: https://service.ap-**.maxcompute.aliyun.com/api
Project: <your_project_name>
Quota: default in region N/A
Timezone: **
Connected!
<your_project_name> >

4.1 下载示例数据

本教程使用4个示例数据文件，请按以下步骤下载：

1. banking.txt（原始全集数据，共41188条）

2. banking_yescreditcard.csv（持有信用卡客户，共3条）

3. banking_nocreditcard.csv（无信用卡客户，共32588条）

4. banking_yescreditcard.csv（未知/待确认状态客户，共8597条）

4.2 理解数据结构

这四个数据集的逻辑关系如下所示：

banking.txt（原始全集，共41188条数据）
├─ banking_yescreditcard.csv（持有信用卡客户，共3条数据）  
├─ banking_nocreditcard.csv（无信用卡客户，共32588条数据）  
└─ banking_uncreditcard.csv（未知/待确认状态客户，共8597条数据）

4.3 预览数据格式

对banking.txt数据集进行样本解析可见，每条客户记录均包含以下多维属性：年龄、职业类型、婚姻状况、教育层次等基础人口统计信息，以及金融业务相关衍生特征。

数据样本：

44,blue-collar,married,basic.4y,unknown,yes,no,cellular,aug,thu,210,1,999,0,nonexistent,1.4,93.444,-36.1,4.963,5228.1,0
53,technician,married,unknown,no,no,no,cellular,nov,fri,138,1,999,0,nonexistent,-0.1,93.2,-42,4.021,5195.8,0
28,management,single,university.degree,no,yes,no,cellular,jun,thu,339,3,6,2,success,-1.7,94.055,-39.8,0.729,4991.6,1

数据格式说明：

• 分隔符：逗号（,）

• 表头：无表头行

• 字段数量：21个字段

4.4 放置数据文件

将下载的数据文件放置到MaxCompute客户端的bin目录下，或者记录数据文件的完整路径。如果下载的示例数据不在MaxCompute客户端文件夹的bin目录下，后续导入数据时请根据命令格式填写正确的文件路径。

5.1 设计表结构

1. 基于示例数据及数据集之间的逻辑关系，我们设计如下表结构：

   • 非分区表bank_data：用于存储banking.txt原始全集数据（41188条）

   • 分区表bank_data_pt：基于分区字段credit（是否持有信用卡），存储三个CSV数据集

     • credit='yes'：持有信用卡客户（3条）

     • credit='no'：无信用卡客户（32588条）

     • credit='unknown'：未知/待确认状态客户（8597条）

   • 非分区表result_table1：用于存储查询结果（教育程度统计）

   • 非分区表result_table2：用于存储查询结果（教育程度和信用卡状态统计）

   说明

   分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分区表的意义在于优化查询。查询表时通过WHERE子句查询指定所需查询的分区，避免全表扫描，提高处理效率，降低计算费用。

5.2 创建非分区表bank_data

在MaxCompute客户端中执行以下SQL语句：

-- 创建非分区表bank_data，用于存储原始全集数据
CREATE TABLE IF NOT EXISTS bank_data
(
 age             BIGINT comment '年龄',
 job             STRING comment '工作类型',
 marital         STRING comment '婚姻状态',
 education       STRING comment '教育程度',
 credit          STRING comment '是否有信用卡',
 housing         STRING comment '是否有房贷',
 loan            STRING comment '是否有贷款',
 contact         STRING comment '联系方式',
 month           STRING comment '月份',
 day_of_week     STRING comment '星期几',
 duration        STRING comment '持续时间',
 campaign        BIGINT comment '本次活动联系的次数',
 pdays           DOUBLE comment '与上一次联系的时间间隔',
 previous        DOUBLE comment '之前与客户联系的次数',
 poutcome        STRING comment '之前市场活动的结果',
 emp_var_rate    DOUBLE comment '就业变化速率',
 cons_price_idx  DOUBLE comment '消费者物价指数',
 cons_conf_idx   DOUBLE comment '消费者信心指数',
 euribor3m       DOUBLE comment '欧元存款利率',
 nr_employed     DOUBLE comment '职工人数',
 fixed_deposit   BIGINT comment '是否有定期存款'
);

5.3 创建分区表bank_data_pt

在MaxCompute客户端中执行以下SQL语句：

-- 创建分区表bank_data_pt，分区字段为credit（是否有信用卡）
CREATE TABLE IF NOT EXISTS bank_data_pt
(
 age             BIGINT comment '年龄',
 job             STRING comment '工作类型',
 marital         STRING comment '婚姻状态',
 education       STRING comment '教育程度',
 housing         STRING comment '是否有房贷',
 loan            STRING comment '是否有贷款',
 contact         STRING comment '联系方式',
 month           STRING comment '月份',
 day_of_week     STRING comment '星期几',
 duration        STRING comment '持续时间',
 campaign        BIGINT comment '本次活动联系的次数',
 pdays           DOUBLE comment '与上一次联系的时间间隔',
 previous        DOUBLE comment '之前与客户联系的次数',
 poutcome        STRING comment '之前市场活动的结果',
 emp_var_rate    DOUBLE comment '就业变化速率',
 cons_price_idx  DOUBLE comment '消费者物价指数',
 cons_conf_idx   DOUBLE comment '消费者信心指数',
 euribor3m       DOUBLE comment '欧元存款利率',
 nr_employed     DOUBLE comment '职工人数',
 fixed_deposit   BIGINT comment '是否有定期存款'
)partitioned by (credit STRING comment '是否有信用卡');

-- 添加三个分区：yes、no、unknown
alter table bank_data_pt add if not exists partition (credit='yes') partition (credit='no') partition (credit='unknown');

5.4 创建结果表result_table1

在MaxCompute客户端中执行以下SQL语句：

-- 创建结果表result_table1，用于存储教育程度统计结果
CREATE TABLE IF NOT EXISTS result_table1
(
 education   STRING comment '教育程度',
 num         BIGINT comment '人数'
);

5.5 创建结果表result_table2

在MaxCompute客户端中执行以下SQL语句：

-- 创建结果表result_table2，用于存储教育程度和信用卡状态统计结果
CREATE TABLE IF NOT EXISTS result_table2
(
 education   STRING comment '教育程度',
 num         BIGINT comment '人数',
 credit      STRING comment '是否有信用卡'
);

5.6 验证表创建

SHOW tables;

ALIYUN$****:bank_data
ALIYUN$****:bank_data_pt
ALIYUN$****:result_table1
ALIYUN$****:result_table2

OK

-- 查看bank_data表结构
DESC bank_data;

-- 查看bank_data_pt表结构
DESC bank_data_pt;

-- 查看result_table1表结构
DESC result_table1;

-- 查看result_table2表结构
DESC result_table2;

+------------------------------------------------------------------------------------+
| Owner: ALIYUN$****          | Project: doc_test_dev                                |
| TableComment:                                                                      |
+------------------------------------------------------------------------------------+
| CreateTime:               2026-05-17 14:02:21                                      |
| LastDDLTime:              2026-05-17 14:02:21                                      |
| LastModifiedTime:         2026-05-17 14:02:21                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 0                                                  |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| age             | bigint     |       | 年龄                                        |
| job             | string     |       | 工作类型                                    |
| marital         | string     |       | 婚姻状态                                    |
| education       | string     |       | 教育程度                                    |
| housing         | string     |       | 是否有房贷                                  |
| loan            | string     |       | 是否有贷款                                  |
| contact         | string     |       | 联系方式                                    |
| month           | string     |       | 月份                                        |
| day_of_week     | string     |       | 星期几                                      |
| duration        | string     |       | 持续时间                                    |
| campaign        | bigint     |       | 本次活动联系的次数                          |
| pdays           | double     |       | 与上一次联系的时间间隔                      |
| previous        | double     |       | 之前与客户联系的次数                        |
| poutcome        | string     |       | 之前市场活动的结果                          |
| emp_var_rate    | double     |       | 就业变化速率                                |
| cons_price_idx  | double     |       | 消费者物价指数                              |
| cons_conf_idx   | double     |       | 消费者信心指数                              |
| euribor3m       | double     |       | 欧元存款利率                                |
| nr_employed     | double     |       | 职工人数                                    |
| fixed_deposit   | bigint     |       | 是否有定期存款                              |
+------------------------------------------------------------------------------------+
| Partition Columns:                                                                 |
+------------------------------------------------------------------------------------+
| credit          | string     | 是否有信用卡                                        |
+------------------------------------------------------------------------------------+

OK

SHOW partitions bank_data_pt;

credit=no
credit=unknown
credit=yes

OK

6.1 Tunnel工具

Tunnel（数据通道）是MaxCompute的数据导入导出工具。可以通过Tunnel向MaxCompute中上传或者下载数据。

6.2 导入数据到bank_data表

执行以下命令将banking.txt导入到bank_data表：

tunnel upload banking.txt bank_data;

命令格式说明：

tunnel upload <待导入的数据文件路径> <导入数据的目标表>

预期输出：

Upload session: 20260202192653092c3b1a0d8ed099
Start upload:banking.txt
Using \n to split records
Upload in strict schema mode: true
Total bytes:4841548	 Split input to 1 blocks
2026-05-02 19:26:53	scan block: '1'
2026-05-02 19:26:53	scan block complete, block id: 1
2026-05-02 19:26:53	upload block: '1'
2026-05-02 19:26:55	Block info: 1:0:4841548:banking.txt, progress: 100%, bs: 4.6 MB, speed: 2.3 MB/s
2026-05-02 19:26:55	upload block complete, block id: 1
upload complete, average speed is 1.5 MB/s
OK

6.3 导入数据到bank_data_pt分区表

执行以下命令将三个CSV文件分别导入到bank_data_pt表的对应分区：

-- 导入持有信用卡客户数据到credit='yes'分区
tunnel upload banking_yescreditcard.csv bank_data_pt/credit="yes";

-- 导入未知状态客户数据到credit='unknown'分区
tunnel upload banking_uncreditcard.csv bank_data_pt/credit="unknown";

-- 导入无信用卡客户数据到credit='no'分区
tunnel upload banking_nocreditcard.csv bank_data_pt/credit="no";

命令格式说明（分区表）：

tunnel upload <待导入的数据文件路径> <导入数据的目标表>/<分区字段>="<分区值>"

预期输出（以第一个命令为例）：

Upload session: 20260202192822042e3b1a0d8f28f6
Start upload:banking_yescreditcard.csv
Using \r\n to split records
Upload in strict schema mode: true
Total bytes:351	 Split input to 1 blocks
2026-05-02 19:28:22	scan block: '1'
2026-05-02 19:28:22	scan block complete, block id: 1
2026-05-02 19:28:22	upload block: '1'
2026-05-02 19:28:22	upload block complete, block id: 1
upload complete, average speed is 351 bytes/s
OK

当回显信息出现OK字样，说明导入数据成功。

6.4 验证数据导入

执行以下命令，查看数据表中的数据条数是否正确：

-- 查看bank_data表中的数据条数（应为41188条）
select count(*) as num1 from bank_data;

-- 查看bank_data_pt表中credit='yes'分区的数据条数（应为3条）
select count(*) as num2 from bank_data_pt where credit="yes";

-- 查看bank_data_pt表中credit='unknown'分区的数据条数（应为8597条）
select count(*) as num3 from bank_data_pt where credit="unknown";

-- 查看bank_data_pt表中credit='no'分区的数据条数（应为32588条）
select count(*) as num4 from bank_data_pt where credit="no";

预期输出：

-- bank_data中的数据条数
+------------+
| num1       | 
+------------+
| 41188      | 
+------------+
A total of 1 records fetched by instance tunnel. Max record number: 10000

-- bank_data_pt中credit值为yes的数据条数
+------------+
| num2       | 
+------------+
| 3          | 
+------------+
A total of 1 records fetched by instance tunnel. Max record number: 10000

-- bank_data_pt中credit值为unknown的数据条数
+------------+
| num3       | 
+------------+
| 8597       | 
+------------+
A total of 1 records fetched by instance tunnel. Max record number: 10000

-- bank_data_pt中credit值为no的数据条数
+------------+
| num4       | 
+------------+
| 32588      | 
+------------+
A total of 1 records fetched by instance tunnel. Max record number: 10000

验证结果：

• bank_data表：41188条数据（与banking.txt一致）

• bank_data_pt表credit='yes'分区：3条数据（与banking_yescreditcard.csv一致）

• bank_data_pt表credit='unknown'分区：8597条数据（与banking_uncreditcard.csv一致）

• bank_data_pt表credit='no'分区：32588条数据（与banking_nocreditcard.csv一致）

如果数据条数不一致，请检查：

1. 数据文件是否完整下载

2. 导入命令是否正确执行

3. 数据文件格式是否正确

7.1 执行简单查询（可选）

在开始复杂查询之前，您可以先执行一个简单的查询，验证数据是否正确导入：

-- 查看bank_data表的前10条数据
select * from bank_data limit 10;

预期输出：返回10条数据记录，包含所有21个字段的值。

7.2 查询非分区表数据

运行以下SQL命令，基于非分区表bank_data，查询各个学历下的贷款买房的单身人士数量，并将结果保存到result_table1：

-- 查询非分区表bank_data中各个学历下的贷款买房的单身人士数量
-- 并将查询结果写入result_table1
INSERT OVERWRITE TABLE result_table1
 SELECT education, COUNT(marital) AS num
 FROM bank_data
 WHERE housing = 'yes' AND marital = 'single'
 GROUP BY education;

SQL说明：

• insert overwrite table：将查询结果覆盖写入目标表

• where housing = 'yes' and marital = 'single'：筛选条件（有房贷且单身）

• group by education：按教育程度分组统计

• count(marital)：统计每个教育程度下的人数

预期输出：

Job Queueing...

OK

7.3 查询分区表数据

运行以下SQL命令，基于分区表bank_data_pt，查询各个学历下的贷款买房的单身人士数量（按信用卡状态分组），并将结果保存到result_table2：

-- 设置允许全表扫描（查询分区表时，如果未指定分区条件，需要此设置）
set odps.sql.allow.fullscan=true;

-- 查询分区表bank_data_pt中各个学历下的贷款买房的单身人士数量
-- 并将查询结果写入result_table2（按教育程度和信用卡状态分组）
insert overwrite table result_table2 
select education, count(marital) as num, credit 
from bank_data_pt 
where housing = 'yes' and marital = 'single'
group by education, credit;

SQL说明：

• set odps.sql.allow.fullscan=true;：允许全表扫描（查询分区表时必需）

• group by education, credit：按教育程度和信用卡状态分组统计

预期输出：

Job Queueing...

OK

7.4 查看查询结果

执行以下命令查看查询结果：

-- 查看result_table1的查询结果
select * from result_table1;

-- 查看result_table2的查询结果
select * from result_table2;

预期输出：

-- result_table1中的数据
+------------+------------+
| education  | num        | 
+------------+------------+
| university.degree | 2399       | 
| basic.4y   | 227        | 
| basic.9y   | 709        | 
| unknown    | 257        | 
| professional.course | 785        | 
| high.school | 1641       | 
| basic.6y   | 172        | 
| illiterate | 1          | 
+------------+------------+
A total of 8 records fetched by instance tunnel. Max record number: 10000

-- result_table2中的数据
+------------+------------+------------+
| education  | num        | credit     | 
+------------+------------+------------+
| unknown    | 51         | unknown    | 
| high.school | 172        | unknown    | 
| basic.4y   | 63         | unknown    | 
| university.degree | 196        | unknown    | 
| professional.course | 64         | unknown    | 
| basic.9y   | 162        | unknown    | 
| basic.6y   | 68         | unknown    | 
| illiterate | 1          | unknown    | 
| university.degree | 2203       | no         | 
| basic.4y   | 164        | no         | 
| basic.9y   | 547        | no         | 
| professional.course | 721        | no         | 
| high.school | 1469       | no         | 
| unknown    | 206        | no         | 
| basic.6y   | 104        | no         | 
+------------+------------+------------+
A total of 15 records fetched by instance tunnel. Max record number: 10000

7.5 数据分析洞察

基于查询结果，我们可以得出以下数据洞察：

这些洞察将有助于金融机构优化信贷产品设计、提升风控能力，并实现更高效的客户触达与转化。

8.1 导出result_table1数据

执行以下Tunnel Download命令导出result_table1的数据：

tunnel download result_table1 result_table1.txt;

命令格式说明：

tunnel download <待导出的数据表> <导出文件路径>

预期输出：

2026-05-02 19:34:40  -  new session: 20260202193440d909371a0d8e908c	total lines: 8
2026-05-02 19:34:40  -  file [0]: [0, 8), result_table1.txt
downloading 8 records into 1 file
2026-05-02 19:34:40  -  file [0] start
2026-05-02 19:34:41  -  file [0] OK. total: 128 bytes
total: 128 bytes, time: 442 ms, average speed: 0 bytes/s
download OK

当回显信息出现OK字样，说明导出数据成功。

8.2 导出result_table2数据

执行以下命令导出result_table2的数据：

tunnel download result_table2 result_table2.csv;

预期输出：

2026-05-02 19:35:26  -  new session: 20260202193526dce7301a0d8ef026	total lines: 15
2026-05-02 19:35:26  -  file [0]: [0, 15), result_table2.csv
downloading 15 records into 1 file
2026-05-02 19:35:26  -  file [0] start
2026-05-02 19:35:26  -  file [0] OK. total: 322 bytes
total: 322 bytes, time: 441 ms, average speed: 0 bytes/s
download OK

8.3 验证导出结果

1. 在导出路径下（默认为MaxCompute客户端的bin目录）确认数据文件的存在性。

2. 打开导出的文件，验证数据完整性：

   • result_table1.txt：应包含8条记录（8种教育程度）

   • result_table2.csv：应包含15条记录（按教育程度和信用卡状态分组）

预期结果：

• 文件已成功导出到指定路径

• 文件中的数据与查询结果一致

• 文件格式正确（TXT或CSV）

9.1 删除数据表

在MaxCompute客户端执行以下命令删除创建的表：

-- 删除result_table2
drop table result_table2;

-- 删除result_table1
drop table result_table1;

-- 删除bank_data_pt分区表
drop table bank_data_pt;

-- 删除bank_data非分区表
drop table bank_data;

命令格式：

drop table <table_name>;

9.2 验证表删除

执行以下命令确认表的删除结果：

show tables;

预期输出：

OK

返回结果中无表信息，表明已删除成功。

9.3 删除MaxCompute项目

重要警告

删除项目将导致以下后果：

• 项目中的所有资源将被删除：包括所有表、函数、资源等

• 操作不可恢复：删除后无法恢复项目及其中的数据

• 如果使用现有项目：删除项目将同时删除项目中的其他工作

删除步骤：

1. 登录MaxCompute控制台。

2. 在左侧导航栏，选择管理配置 > 项目管理。

3. 在项目管理页面，单击目标项目操作列的删除。

4. 按照页面提示确认删除操作。

9.4 验证资源清理

完成资源清理后，请确认：

• 所有数据表已删除

• 项目已删除（如果适用）

• 不再产生费用

Q1：客户端连接失败怎么办？

可能原因：

• 项目名称配置错误

• AccessKey ID或Secret配置错误

• Endpoint配置错误

• 网络连接问题

解决方法：

1. 检查odps_config.ini配置文件中的各项配置是否正确

2. 确认AccessKey是否有效（未过期、未删除）

3. 确认Endpoint是否与项目地域匹配

4. 检查网络连接是否正常

Q2：数据导入失败怎么办？

可能原因：

• 数据文件路径错误

• 数据格式不匹配（字段数量、数据类型）

• 文件编码问题

解决方法：

1. 检查数据文件路径是否正确（使用绝对路径）

2. 验证数据文件格式是否与表结构匹配

3. 查看错误信息，根据提示调整

Q3：查询分区表时报错怎么办？

错误信息：ODPS-0130071: Partition exception

解决方法：

• 如果查询分区表时未指定分区条件，需要先执行：set odps.sql.allow.fullscan=true;

• 或者，在WHERE子句中指定具体的分区条件，例如：where credit='yes'