在开发Python计算任务时,需要根据业务场景安装如下资源包。以下资源包已经预制至系统内,您在开发代码过程中,只需要在代码开始部分添加import 资源包名
语句即可,例如import configparser
。
使用限制
预置资源包不支持在Shell任务中运行Python资源, 同时也不支持在Python资源内调用系统资源包。仅支持在计算任务中的Python任务中使用。
目前只支持
from dataphin import odps
和from dataphin import hivec
。
资源包 | 资源包版本 | 适用场景 |
configparser | >=3.5.0 | 读取配置文件 |
DateTime | 无 | 数据处理 |
jumpssh | 无 | 使用跳板机连接服务器 |
mysql-connector-python | >=8.0.11 | 连接并操作MySQL |
numpy | 无 | 算法基础处理 |
pandas | 无 | 算法基础处理 |
psycopg2 | >=2.7.4 | 连接操作PostgreSQL |
pyhs2 | >=0.6.0 | 连接并操作HDFS |
pyodps | >=0.7.16 | ODPS操作,适用ODPS |
requests | >=2.4.0 | 算法基础处理 |
scikit-learn | 无 | 算法基础处理 |
scipy | 无 | 算法基础处理 |
setuptools | >=3.0 | Pthon基础功能库 |
yarn-api-client | >=0.2.3 | Yarn-api客户端 |
Matplotlib | 无 | 算法基础处理 |
pyhive | 无 | Hive数据处理 说明 Dataphin中使用PyHive时,无需配置Hive连接信息,系统将自动从当前项目对应的计算源中获取Hive连接。 |
文档内容是否对您有帮助?