在本地环境使用PyODPS

前提条件

在开始之前，请确保具备以下条件：

• 已安装Python 3.6或以上版本。

• 已创建阿里云账号，并拥有AccessKey（用于连接MaxCompute项目）。建议使用RAM用户的AccessKey。

安装PyODPS

1. 安装PyODPS

   • Linux/macOS：

     pip3 install pyodps

   • Windows：

     pip install pyodps

   如果安装时出现numpy或者pyarrow等依赖包安装错误，通常显示为C代码编译错误，可能是pip或setuptools版本过旧导致，请先升级pip和setuptools，然后重试：

   # Linux/macOS
   pip3 install -U pip setuptools
   
   # Windows
   pip install -U pip setuptools

2. 验证安装

   • Linux/macOS：

     python3 -c "from odps import ODPS"

   • Windows：

     python -c "from odps import ODPS"

     无报错信息即表示安装成功。如果出现错误，请参见问题排查。

设置环境变量

AccessKey是访问MaxCompute项目的身份凭证，请将其配置为环境变量，避免在代码中硬编码。

登录RAM控制台，复制AccessKey ID和AccessKey Secret，然后根据操作系统配置。macOS（zsh）配置方式如下：

1. macOS（zsh）：

   vim ~/.zshrc

2. 添加以下内容，将占位符替换为实际值

   export ALIBABA_CLOUD_ACCESS_KEY_ID=<your-AccessKey-ID>
   export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<your-AccessKey-secret>

3. 使配置生效

   source ~/.zshrc

4. 确认环境变量已设置

   echo $ALIBABA_CLOUD_ACCESS_KEY_IDecho $ALIBABA_CLOUD_ACCESS_KEY_SECRET

   每条命令会输出对应的值。如果输出为空，请重复步骤2和3。

关于在Linux、macOS和Windows系统上设置环境变量的更多详细信息，请参见在环境变量中设置阿里云AccessKey。

初始化ODPS入口

ODPS类是所有PyODPS操作的入口。在调用任何其他API之前，需要使用凭证和项目信息初始化。

运行代码前，请确保已设置ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET环境变量。如果未设置环境变量，也可以显式指定AccessKey，但是在源代码中硬编码凭证存在安全风险，所以不推荐该方式。

如需获取AccessKey ID和AccessKey Secret，请单击链接获取ACCESS_ID及SECRET_ACCESS_KEY。

import os
from odps import ODPS
from odps.accounts import StsAccount
# 确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为 Access Key ID，
# ALIBABA_CLOUD_ACCESS_KEY_SECRET 环境变量设置为 Access Key Secret，
# ALIBABA_CLOUD_STS_TOKEN 环境变量设置为 STS Token，
# 不建议直接使用 Access Key ID / Access Key Secret 字符串
account = StsAccount(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    os.getenv('ALIBABA_CLOUD_STS_TOKEN'),
)
o = ODPS(
    account=account,
    project='**your-default-project**',
    endpoint='**your-end-point**',
)

完成上述配置后，即可在本地使用 PyODPS。更多操作说明请参见基本操作概述。

数据处理

# 使用专用方法创建表
o.create_table('my_t', 'num bigint, id string', if_not_exists=True)

# 执行SELECT查询
result = o.execute_sql('SELECT * FROM pyodps_iris LIMIT 3')
with result.open_reader() as reader:
    for record in reader:
        print(record)

o.execute_sql_interactive('SELECT * FROM dual', fallback='all')

# 仅在资源不足和不支持的场景下回退
o.execute_sql_interactive('SELECT * FROM dual', fallback="noresource,unsupported")

from odps.df import DataFrame

# 将pyodps_iris表加载为DataFrame
iris = DataFrame(o.get_table('pyodps_iris'))

# 过滤行并打印结果——.execute()触发实际计算
for record in iris[iris.sepalwidth < 3].execute():
    print(record)

from odps import options
options.verbose = True

o.execute_sql('SELECT * FROM pyodps_iris', hints={'odps.sql.mapper.split.size': 16})

from odps import options

# 后续所有execute_sql()调用将自动包含这些hints
options.sql.settings = {'odps.sql.mapper.split.size': 16}
o.execute_sql('SELECT * FROM pyodps_iris')

完整示例

以下示例覆盖完整流程：连接MaxCompute、创建表、写入数据、读取数据、查询pyodps_iris表并清理资源。

本示例最后调用了table.drop()，会永久删除表my_new_table。如果需要保留该表，请勿使用已有的表名或执行drop操作。

1. 本地创建test-pyodps-local.py文件。

2. 添加以下代码：

   import os
   from odps import ODPS
   
   o = ODPS(
       access_id=os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       secret_access_key=os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
       project='your-default-project',
       endpoint='your-end-point',
   )
   
   table = o.create_table('my_new_table', 'num bigint, id string', if_not_exists=True)
   
   records = [[111, 'aaa'],
              [222, 'bbb'],
              [333, 'ccc'],
              [444, '中文']]
   o.write_table(table, records)
   
   # 读取记录
   for record in o.read_table(table):
       print(record[0], record[1])
   
    # 使用SQL查询my_new_table表
   result = o.execute_sql('SELECT * FROM my_new_table;')
   
   
   print('Read data from the pyodps_iris table using open_reader:')
   
   # 打印查询结果
   with result.open_reader() as reader:
       for record in reader:
           print(record[0], record[1])
   
   # 删除表以释放资源
   table.drop()

3. 运行脚本

   python test-pyodps-local.py

   预期运行结果：

   111 aaa
   222 bbb
   333 ccc
   444 中文
   Read data from the pyodps_iris table using open_reader:
   111 aaa
   222 bbb
   333 ccc
   444 中文

问题排查