Python作业开发-实时计算 Flink版-阿里云

本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。

背景信息

Flink Python作业需要您在本地完成开发工作，Python作业开发完成后，再在Flink开发控制台上部署并启动才能看到业务效果。整体的操作流程详情请参见Flink Python作业快速入门。

Flink工作空间已安装下列软件包。

Flink工作空间已安装下列软件包。

Flink工作空间已安装下列软件包。

由于Flink受部署环境、网络环境等因素的影响，所以开发Python作业，需要注意以下限制：

仅支持开源Flink V1.13及以上版本。
Flink工作空间已预装了Python环境，且Python环境中已预装了Pandas、NumPy、PyArrow等常用的Python库。
说明
实时计算引擎VVR 8.0.11以下版本预装Python 3.7.9版本，实时计算引擎VVR 8.0.11及以上版本预装Python 3.9.21版本。如需将低版本升级至实时计算引擎VVR 8.0.11及以上版本，必须对先前版本的PyFlink作业进行重新测试、部署和运行。
Flink运行环境仅支持JDK 8和JDK 11，如果Python作业中依赖第三方JAR包，请确保JAR包兼容。
VVR 4.x仅支持开源Scala V2.11版本，VVR 6.x及以上版本仅支持开源Scala V2.12版本。如果Python作业中依赖第三方JAR包，请确保使用Scala版本对应的JAR包依赖。

您可以参见以下文档在本地完成Flink业务代码开发，开发完成后您需要将其上传到Flink开发控制台，并部署上线作业。

您可以在Python自定义函数的代码实现中，通过logging的方式，输出日志信息，方便后期问题定位，示例如下。

@udf(result_type=DataTypes.BIGINT())
def add(i, j):    
  logging.info("hello world")    
  return i + j

日志输出后，您可以在TaskManager的日志文件查看。

Flink所支持的连接器列表，请参见支持的连接器。连接器使用方法如下：

登录实时计算控制台。
单击目标工作空间操作列下的控制台。
在左侧导航栏，单击文件管理。
单击上传资源，选择您要上传的目标连接器的Python包。
您可以上传您自己开发的连接器，也可以上传Flink提供的连接器。Flink提供的连接器官方Python包的下载地址，请参见Connector列表。
在运维中心 > 作业运维页面，单击部署作业 > Python 作业，附加依赖文件项选择目标连接器的Python包，配置其他参数并部署作业。
单击部署的作业名称，在部署详情页签运行参数配置区域，单击编辑，在其他配置中，添加Python连接器包位置信息。
如果您的作业需要依赖多个连接器Python包，例如依赖的2个包的名字分别为connector-1.jar和connector-2.jar，则配置信息如下。
```
pipeline.classpaths: 'file:///flink/usrlib/connector-1.jar;file:///flink/usrlib/connector-2.jar'
```