PyODPS制作第三方包

您需要安装Docker以顺利使用Docker模式运行pyodps-pack，pyodps-pack会自动调用已安装的Docker，您无需手动在Docker中运行pyodps-pack。

• Linux环境：可以参考Docker官方文档安装Docker。

• macOS或Windows环境：

  • 个人开发者：可以使用Docker Desktop。

  • 未购买过授权的企业用户：推荐使用开源的Rancher Desktop。

安装完PyODPS后，您可以在本地命令行中使用以下命令为Python 3打包pandas以及pandas的依赖项。

• 使用Docker模式打包：

  pyodps-pack pandas

• 使用非Docker模式打包：

  pyodps-pack --without-docker pandas

• 打包时指定所需版本：

  pyodps-pack pandas==1.2.5

经过一系列的打包步骤，工具会显示包中的所有依赖版本，具体如下。并在当前目录中生成一个packages.tar.gz文件，其中包括下面列出的所有依赖项目。

Package         Version
--------------- -------
numpy           1.21.6
pandas          1.2.5
python-dateutil 2.8.2
pytz            2022.6
six             1.16.0

如果您希望为Python 2.7打包，请确定包的后续使用环境为MaxCompute还是DataWorks，辨别方法请参考PyODPS DataFrame的代码运行环境。

• 在MaxCompute中使用Python 2.7包的打包命令：

  pyodps-pack --mcpy27 pandas

• 在DataWorks中使用Python 2.7包的打包命令：

  pyodps-pack --dwpy27 pandas

示例：以基于pyproject.toml组织的项目为例，为您介绍如何使用pyodps-pack打包。假定项目的目录结构如下：

test_package_root
├── test_package
│   ├── __init__.py
│   ├── mod1.py
│   └── subpackage
│       ├── __init__.py
│       └── mod2.py
└── pyproject.toml

其中pyproject.toml内容可能为：

[project]
name = "test_package"
description = "pyodps-pack example package"
version = "0.1.0"
dependencies = [
    "pandas>=1.0.5"
]

完成包的开发后，使用以下命令可以将此包和所有依赖打包进packages.tar.gz文件中（path_to_package为test_package_root的上级路径）：

pyodps-pack /<path_to_package>/test_package_root

pyodps-pack支持打包远程Git代码仓库（例如GitHub）中的代码。以PyODPS本身为例，可以使用以下命令执行打包：

pyodps-pack git+https://github.com/aliyun/aliyun-odps-python-sdk.git

如果想要打包某个分支或者Tag，可以使用：

pyodps-pack git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

如果打包前需要安装一些打包依赖（例如cython），可以使用--install-requires参数增加安装时依赖。也可以编写一个格式与requirements.txt相同的install-requires.txt文件，并使用--install-requires-file选项指定。例如，如果需要先安装Cython再打包PyODPS，可以执行如下命令：

pyodps-pack \
    --install-requires cython \
    git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

也可以创建一个install-requires.txt文件并依照requirements.txt格式编写如下：

cython>0.29

打包命令可以写成：

pyodps-pack \
    --install-requires-file install-requires.txt \
    git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

一部分包包含额外的二进制依赖，例如需要编译或安装的外部动态链接库。pyodps-pack提供了--run-before参数用以指定打包前需要执行的步骤，该步骤中可以安装所需的二进制依赖。下面以地理信息库GDAL为例为您介绍如何打包。

1. 确定打包时需要安装的二进制依赖。

   根据GDAL 3.6.0在PyPI上的文档，我们需要安装3.6.0以上版本的libgdal。libgdal编译说明则指出，该包依赖6.0版本以上的PROJ包，这两个二进制包均使用CMake打包。据此，编写二进制包安装文件并保存为install-gdal.sh：

   #!/bin/bash
   set -e
   
   cd /tmp
   curl -o proj-6.3.2.tar.gz https://download.osgeo.org/proj/proj-6.3.2.tar.gz
   tar xzf proj-6.3.2.tar.gz
   cd proj-6.3.2
   mkdir build && cd build
   cmake ..
   cmake --build .
   cmake --build . --target install
   
   cd /tmp
   curl -o gdal-3.6.0.tar.gz http://download.osgeo.org/gdal/3.6.0/gdal-3.6.0.tar.gz
   tar xzf gdal-3.6.0.tar.gz
   cd gdal-3.6.0
   mkdir build && cd build
   cmake ..
   cmake --build .
   cmake --build . --target install

2. 使用pyodps-pack进行打包，命令如下：

   pyodps-pack --install-requires oldest-supported-numpy --run-before install-gdal.sh gdal==3.6.0

下面列出pyodps-pack命令的可用参数，可用于控制打包过程：