JAR作业开发

背景信息

Flink Datastream提供了阿里云Flink全托管产品的底层API调用功能，方便您灵活地使用Flink全托管。目前实时计算Flink支持的Datastream API完全兼容开源的Flink版本，详情请参见Flink DataStream API开发指南。

使用限制

注意事项

作业开发

作业调试

• 您可以使用DataGeneratorSource输入模拟数据，使用示例请参见DataGeneratorSourceTest.java。您也可以单独创建一个Flink SQL作业，使用Datagen连接器产生模拟数据写入JAR作业读取的数据源，然后由JAR作业进行消费处理。

• 您可以使用Print调试结果，使用示例请参见WindowWordCount.java。您需要提前配置日志输出，详情请参见配置作业日志输出。

Connector使用

Maven中央库中已经放置了VVR Connector，以供您在作业开发时直接使用。您可以使用以下任意一种方式来使用Connector：

• （推荐）直接将Connector作为项目依赖打进作业JAR包。

  1. 在Maven项目的pom.xml文件中添加以下配置以引用SNAPSHOT仓库。

     <repositories>
       <repository>
         <id>oss.sonatype.org-snapshot</id>
         <name>OSS Sonatype Snapshot Repository</name>
         <url>http://oss.sonatype.org/content/repositories/snapshots</url>
         <releases>
           <enabled>false</enabled>
         </releases>
         <snapshots>
           <enabled>true</enabled>
         </snapshots>
       </repository>
       <repository>
         <id>apache.snapshots</id>
         <name>Apache Development Snapshot Repository</name>
         <url>https://repository.apache.org/content/repositories/snapshots/</url>
         <releases>
           <enabled>false</enabled>
         </releases>
         <snapshots>
           <enabled>true</enabled>
         </snapshots>
       </repository>
     </repositories>

  2. 检查您的settings.xml配置文件中是否存在<mirrorOf>*</mirrorOf>配置。

     如果存在<mirrorOf>*</mirrorOf>配置，则需要将此配置改为<mirrorOf>*,!oss.sonatype.org-snapshot,!apache.snapshots</mirrorOf>。修改的目的是为了避免SNAPSHOT仓库被覆盖，因为mirrorOf中只使用星号（*）会导致第一步中配置的两个repository被覆盖。

  3. 在作业的Maven POM文件中添加您需要的Connector作为项目依赖，示例如下。

     <dependencies>
         <dependency>
             <groupId>com.alibaba.ververica</groupId>
             <artifactId>${connector.type}</artifactId>
             <version>${connector.version}</version>
         </dependency>
     </dependencies>

     每个Connector版本对应的Connector类型可能不同，建议您使用最新版本。

     重要

     • 您需要在SNAPSHOT仓库（oss.sonatype.org）查找带SNAPSHOT的Connector版本， 在Maven中央库（search.maven.org）上会查找不到。

     • 在使用多个Connector时，请注意META-INF目录需要Merge，即在pom.xml文件中添加如下代码。

       <transformers>
           <!-- The service transformer is needed to merge META-INF/services files -->
           <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
           <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheNoticeResourceTransformer">
               <projectName>Apache Flink</projectName>
               <encoding>UTF-8</encoding>
           </transformer>
       </transformers>

• 上传Connector JAR包到Flink全托管控制台后，填写配置信息。

  1. 登录实时计算控制台。

  2. 在Flink全托管页签，单击目标工作空间操作列下的控制台。

  3. 在左侧导航栏，单击资源管理。

  4. 单击上传资源，选择您要上传的目标Connector的JAR包。

     您可以上传您自己开发的Connector，也可以上传Flink全托管产品提供的Connector。

  5. 在部署作业页面附加依赖文件项，选择目标Connector的JAR包。

相关文档

Flink JAR作业快速入门