安装PyODPS

PyODPS是MaxCompute的Python版本的SDK,提供对MaxCompute对象的基本操作及DataFrame框架,帮助您在MaxCompute上使用Python进行数据分析,支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时,如何安装PyODPS。

前提条件

安装PyODPS环境前,您需要安装3.6或以上版本的Python。安装方式请参见安装Python

安装步骤

  1. 进入命令行。

  2. 执行如下命令安装PyODPS。

    pip install pyodps
  3. 执行如下命令检查安装是否成功。若无返回值和报错信息表示安装成功。

    python -c "from odps import ODPS"

如果在安装过程中出现numpy或者pyarrow等依赖包安装错误,通常显示为C代码编译错误,这可能是您的pip或者setuptools版本过低导致,可以先升级pip和setuptools的版本,再尝试安装。

pip install -U pip setuptools

如果您使用的Python不是系统默认的Python版本,您可以执行如下命令以使用您需要的Python版本。

/home/tops/bin/python3.7 -m pip install pyodps
#/home/tops/bin/python3.7为安装的python路径

如果您在安装过程中遇到urllib3 v2.0 only supports OpenSSL 1.1.1+的报错,说明您的Python使用了较旧版本的OpenSSL,而试图安装的依赖urllib3不支持这个OpenSSL版本,此时需要先安装旧版urllib3,此后再安装PyODPS。

pip install "urllib3<2.0"

后续步骤

初始化ODPS入口。

import os
from odps import ODPS
# 确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID,
# ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为用户 Access Key Secret,
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

其中:

  • ALIBABA_CLOUD_ACCESS_KEY_IDALIBABA_CLOUD_ACCESS_KEY_SECRET:需将该环境变量设置为您的阿里云账号的AccessKey ID和 AccessKey Secret。环境变量设置方法请参见在Linux、macOS和Windows系统配置环境变量

    说明

    不建议直接使用AccessKey ID和 AccessKey Secret字符串。

  • your-default-projectyour-end-point:需替换为您设置的默认项目名称与Endpoint信息,各地域的Endpoint请参见Endpoint

完成上述配置后,您就可以在本地环境中使用PyODPS,例如对于ODPS对象的基本操作listgetexistcreatedelete等,更多PyODPS的使用指导请参见基本操作概述DataFrame概述

说明

如无特殊说明,文档中的o对象即为ODPS对象。