文档

附录:Python预置资源包

更新时间:

在开发Python计算任务时,需要根据业务场景安装如下资源包。以下资源包已经预制至系统内,您在开发代码过程中,只需要在代码开始部分添加import 资源包名语句即可,例如import configparser

使用限制

  • 预置资源包不支持在Shell任务中运行Python资源, 同时也不支持在Python资源内调用系统资源包。仅支持在计算任务中的Python任务中使用。

  • 目前只支持from dataphin import odpsfrom dataphin import hivec

资源包

资源包版本

适用场景

configparser

>=3.5.0

读取配置文件

DateTime

数据处理

jumpssh

使用跳板机连接服务器

mysql-connector-python

>=8.0.11

连接并操作MySQL

numpy

算法基础处理

pandas

算法基础处理

psycopg2

>=2.7.4

连接操作PostgreSQL

pyhs2

>=0.6.0

连接并操作HDFS

pyodps

>=0.7.16

ODPS操作,适用ODPS

requests

>=2.4.0

算法基础处理

scikit-learn

算法基础处理

scipy

算法基础处理

setuptools

>=3.0

Pthon基础功能库

yarn-api-client

>=0.2.3

Yarn-api客户端

Matplotlib

算法基础处理

pyhive

Hive数据处理

说明

Dataphin中使用PyHive时,无需配置Hive连接信息,系统将自动从当前项目对应的计算源中获取Hive连接。