安装PyODPS

PyODPSMaxComputePython版本的SDK,提供对MaxCompute对象的基本操作及DataFrame框架,支持在MaxCompute上使用Python进行数据分析,支持在DataWorks或本地环境上使用。本文介绍在本地环境上使用PyODPS时,如何安装PyODPS。

前提条件

安装PyODPS环境前,需要安装3.6或以上版本的Python

安装PyOPDS

  1. 进入终端命令行,执行如下命令安装PyODPS。

    # windows系统,请使用pip install pyodps
    pip3 install pyodps
  2. 执行如下命令检查安装是否成功。若无返回值和报错信息表示安装成功。

    # windows系统,请使用python -c "from odps import ODPS"
    python3 -c "from odps import ODPS"

设置环境变量

需获取阿里云RAM账号的ACCESS_KEY,作为读取MaxCompute项目的身份凭证。安全起见,推荐设置环境变量。

说明

此处操作以使用zshmacOS系统为例,设置全局环境变量。Linux、macOS、Window系统更多设置方法,请参见在环境变量中设置阿里云AccessKey

  1. 登录RAM控制台获取AccessKey ID 和 AccessKey Secret。

  2. 打开并编辑配置文件。

    -- 使用zshmacOS。如未安装,请先执行brew install zsh
    vim ~/.zshrc
    
    -- 在打开的文件中,添加如下两行环境变量。
    
    -- 将<ACCESS_KEY_ID>替换为您自己的AccessKey ID
    export ALIBABA_CLOUD_ACCESS_KEY_ID=yourAccessKeyID
    
    -- 将<ACCESS_KEY_SECRET>替换为您自己的AccessKey Secret
    export ALIBABA_CLOUD_ACCESS_KEY_SECRET=yourAccessKeySecret
  3. 重新加载配置文件,使更改立即生效。

    source ~/.zshrc
  4. 验证环境变量设置是否成功。

    echo $ALIBABA_CLOUD_ACCESS_KEY_ID
    echo $ALIBABA_CLOUD_ACCESS_KEY_SECRET

后续步骤

完成PyOPDS的安装和环境变量准备后,可在本地环境使用PyODPS开发。

常见安装问题

依赖包安装错误

如果在安装过程中出现numpy或者pyarrow等依赖包安装错误,通常显示为C代码编译错误,这可能是pip或者setuptools版本过低导致,可以先升级pipsetuptools的版本,再尝试安装。

# windows系统,请使用pip install -U pip setuptools
pip3 install -U pip setuptools

Python 版本的 pip 版本混淆

如果使用的Python不是系统默认的Python版本,可以执行如下命令以使用需要的Python版本。

/home/tops/bin/python3.7 -m pip install pyodps
#/home/tops/bin/python3.7为安装的python路径

urllib3 的 OpenSSL 版本报错

如果在安装过程中遇到urllib3 v2.0 only supports OpenSSL 1.1.1+的报错,说明Python使用了较旧版本的OpenSSL,而试图安装的依赖urllib3不支持这个OpenSSL版本,此时需要先安装旧版urllib3,此后再安装PyODPS。

# windows系统,请使用pip install "urllib3<2.0"
pip3 install "urllib3<2.0"