全部产品
云市场

处理MaxCompute数据

更新时间:2019-05-09 13:37:51

PAI-DSW处理MaxCompute表数据

PAI-DSW可以通过安装PYODPS包来与MaxCompute或者PAI-STUDIO中的数据进行通信,PYODPS是阿里云自行开发的一套python SDK。

PYODPS地址:https://pyodps.readthedocs.io/zh_CN/latest/

上手流程

1.安装PYODPS

进入DSW,打开终端,输入:

  1. pip install --user pyodps

2.处理Maxcompute表数据

代码示例(下方代码演示的是展示Maxcompute特定项目下的某表的前10行数据)

  1. from odps import ODPS
  2. from odps.df import DataFrame
  3. o = ODPS('*accessKey ID*', '*accesskey Secret*',project='*Maxcompute项目名*', endpoint='http://service-all.ext.odps.aliyun-inc.com/api')
  4. users = DataFrame(o.get_table('*表名*'))
  5. print(users.head(10))