本文为您介绍如何在PyODPS中查看一级分区。
前提条件
- 开通MaxCompute。
- 开通DataWorks。
- 在DataWorks上完成创建业务流程,本例使用DataWorks简单模式。详情请参见创建业务流程。
操作步骤
- 准备测试数据。
- 使用PyODPS查看一级分区。
更新时间:2021-01-12 14:09
本文为您介绍如何在PyODPS中查看一级分区。
create table if not exists user_detail
(
userid BIGINT comment '用户id',
job STRING comment '工作类型',
education STRING comment '教育程度'
) comment '用户信息表'
partitioned by (dt STRING comment '日期',region STRING comment '地区');
create table if not exists user_detail_ods
(
userid BIGINT comment '用户id',
job STRING comment '工作类型',
education STRING comment '教育程度',
dt STRING comment '日期',
region STRING comment '地区'
);
0001,互联网,本科,20190715,beijing
0002,教育,大专,20190716,beijing
0003,金融,硕士,20190715,shandong
0004,互联网,硕士,20190715,beijing
insert overwrite table user_detail partition (dt,region)
select userid,job,education,dt,region from user_detail_ods;
import sys
reload(sys)
#修改系统默认编码。
sys.setdefaultencoding('utf8')
#异步方式读取一级分区。
instance = o.run_sql('select * from user_detail WHERE dt=\'20190715\'')
instance.wait_for_success()
for record in instance.open_reader():
print record["userid"],record["job"],record["education"]
#同步方式读取一级分区。
with o.execute_sql('select * from user_detail WHERE dt=\'20190715\'').open_reader() as reader4:
print reader4.raw
for record in reader4:
print record["userid"],record["job"],record["education"]
#使用ODPS的DataFrame获取一级分区。
pt_df = DataFrame(o.get_table('user_detail').get_partition('dt=20190715'))
print pt_df.head(10)
在文档使用中是否遇到以下问题
更多建议
匿名提交