Flink全托管支持通过JAR代码编辑和运行作业。本文带您快速体验Flink全托管产品的开通、JAR流作业和批作业的创建和上线运行等操作。

前提条件

  • 已准备阿里云账号及账户余额。
    • 账号注册操作步骤，请参见账号注册。
    • 阿里云账户余额不少于100.00元人民币或等值的代金券或优惠券。
  • 已完成角色授权，详情请参见阿里云账号角色授权。
  • 已在本地准备好了测试JAR包和输入数据文件。

操作流程

  1. 步骤一：创建Flink全托管工作空间
    开通一个北京地域按量付费的Flink全托管工作空间。
  2. 步骤二：创建JAR作业，并配置作业信息
    Flink全托管支持创建JAR流作业和批作业。您可以根据需要，在作业开发页面创建对应的作业。
  3. 步骤三：启动作业后，查看Flink计算结果
    在作业运维页面，启动作业后，查看Flink计算结果。

步骤一：创建Flink全托管工作空间

  1. 登录实时计算控制台。
  2. 单击Flink全托管下的购买产品。
  3. 在购买页面，填写配置信息。
    开通
    类别配置项示例说明
    基本配置付费模式按量付费支持包年包月和按量付费模式。
    地域北京支持华南1（深圳）、华北2（北京）、华东2（上海）、华北1（杭州）和新加坡。
    说明 建议选择与上下游存储相同的地域。
    可用区可用区F建议选择与上下游存储相同的可用区。
    网络配置SLB服务-系统已默认选中并开通了SLB服务。
    专有网络flink-test-vpc选择对应地域下的专有网络。
    说明 如果目标上下游存储在专有网络下，则Flink全托管工作空间必须和目标上下游存储在同一个专有网络下。
    虚拟交换机flinktest-vsw-2ze4fyq366itq6xqp****每个Flink作业的Task Manager和Job Manager实例都会占用一个 IP， 您可以选择1~5个虚拟交换机，根据Flink作业规模，合理规划网段。
    说明 Flink控制台上只显示指定专有网络下，与阿里云Flink全托管工作空间在同一可用区下的虚拟交换机。如果页面中没有可供选择的虚拟交换机，则您需要确认工作空间所选的可用区是否有误，或者是否在该可用区下已经创建了虚拟交换机。
    工作空间配置工作空间名称flink-test以字母开头，仅包含英文字母、数字、中划线（-），长度限制为1~60个字符。
    存储配置OSS存储flink-test-oss用于存储作业的Checkpoint、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建以下目录来保存不同类型的数据：
    • artifacts：上传的JAR包会被存储到该目录。
    • flink-jobs：Flink作业的HA信息和Checkpoint会被存储到该目录。
    • flink-savepoints：在Flink全托管开发控制台上单击Savepoint，会触发Savepoint操作，最终的Savepoint文件会被存储到该目录。
    • logs：如果您的作业中日志模板选择了OSS，则您的作业的日志会被存储到该目录。
    • sql-artifacts：注册自定义函数和Connector所依赖的文件会被存储到该目录。
    • plan：使用专家模式，配置的资源信息会被存储到该目录。
    • flink-sessionclusters：Session集群的HA信息和Checkpoint信息会被存储到该目录。
    说明
    • Flink全托管服务开通成功后，不可修改OSS存储。
    • OSS存储需要与Flink全托管服务在同一地域。
    • 选择Bucket时，请参见注意事项。
    监控配置监控服务-系统已默认选中并开通了Prometheus服务。
  4. 单击确认订单并支付，即可开通成功。
    说明 支付完成后，单击管理控制台，即可在Flink全托管页签，看到正在创建的工作空间。通常，支付完成后5~10分钟即可完成工作空间的创建。

步骤二：创建JAR作业，并配置作业信息

流作业

  1. 创建JAR流作业。
    1. 在左侧导航栏，单击作业开发。
    2. 单击新建。
    3. 在新建文件对话框，填写作业配置信息。
      作业参数示例说明
      文件名称flink-streaming-test-jar作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型流作业/JAR流作业和批作业均支持以下文件类型：
      • SQL
      • JAR
      • PYTHON
      部署目标vvp-workload选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明，请参见配置开发测试环境（Session集群）。
      存储位置作业开发指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧，单击新建文件夹图标，新建子文件夹。

    4. 单击确认。
  2. 在作业开发页面，填写基本配置信息。
    您可以直接填写以下配置信息，也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
    参数示例说明
    部署目标vvp-workload您可以修改创建作业时已选择的部署目标。
    JAR URIoss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后，再单击右侧上传图标选择文件，上传JAR包。
    Entry Point Classorg.example.WordCountStreaming程序的入口类。如果您的JAR包未指定主类，请在此处输入您的Entrypoint Class类的标准路径。
    说明 因为本文提供的测试JAR包中既包含了流作业代码，又包含批作业代码。所以，此处需要指定为流作业的程序入口。
    Entry Point Main Arguments--input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare填写输入数据文件的OSS路径。
    说明
    • 本文输入数据文件和测试JAR包存放路径一致。统一放在OSS控制台，名称为flink-test-oss的Bucket下。
    • 单击Shakespeare，下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面，将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
    附加依赖文件无需填写填写目标附加依赖文件的OSS路径或者URL。
  3. 单击上线。
  4. 单击确认。

批作业

  1. 创建JAR批作业。
    1. 在左侧导航栏，单击作业开发。
    2. 单击新建。
    3. 在新建文件对话框，填写作业配置信息。
      作业参数示例说明
      文件名称flink-batch-test-jar作业的名称。
      说明 作业名称在当前项目中必须保持唯一。
      文件类型批作业/JAR流作业和批作业均支持以下文件类型：
      • SQL
      • JAR
      • PYTHON
      部署目标vvp-workload选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明，请参见配置开发测试环境（Session集群）。
      存储位置作业开发指定该作业的代码文件所属的文件夹。默认存放在作业开发目录。

      您还可以在现有文件夹右侧，单击新建文件夹图标，新建子文件夹。

    4. 单击确认。
  2. 在作业开发页面，填写基本配置信息。
    您可以直接填写以下配置信息，也可以单击YAML直接修改配置信息。配置参数解释如下表所示。
    参数示例说明
    部署目标vvp-workload您可以修改创建作业时已选择的部署目标。
    JAR URIoss://flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar单击FlinkQuickStart-1.0-SNAPSHOT.jar下载测试JAR包后，再单击右侧上传图标选择文件，上传JAR包。
    Entry Point Classorg.example.WordCountBatch程序的入口类。如果您的JAR包未指定主类，请在此处输入您的Entrypoint Class类的标准路径。
    说明 因为本文提供的测试JAR包中既包含了流作业代码，又包含批作业代码。所以，此处需要指定为批作业的程序入口。
    Entry Point Main Arguments--input oss://flink-test-oss/artifacts/namespaces/flink-test-default/Shakespeare --output oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt 填写输入数据文件和结果数据输出文件路径。
    说明
    • 本示例中输入数据文件、输出文件和测试JAR包存放路径一致。统一放在OSS控制台，名称为flink-test-oss的Bucket下。
    • 本示例中，我们以将计算结果写入到OSS指定目录为例，为您展示如何配置该参数。在此您仅需要指定结果数据输出文件路径和名称，无需提前在指定目录创建。
    • 单击Shakespeare，下载输入数据文件Shakespeare。您还需要在开发控制台左侧资源上传页面，将Shakespeare输入数据文件上传到OSS的指定目录。上传的文件会固定被保存在oss://flink-test-oss/artifacts/namespaces/flink-test-default目录下。
    附加依赖文件无需填写填写目标附加依赖文件的OSS路径或者URL。
  3. 单击上线。
  4. 单击确认。

步骤三：启动作业后，查看Flink计算结果

  1. 在左侧导航栏，单击作业运维。
  2. 单击目标作业名称操作列中的启动。
  3. 配置资源信息和基础设置。
    详情请参见作业启动。
  4. 单击启动。
    单击启动后，您可以看到作业状态变为运行中，则代表作业运行正常。
    重要 如果您需要启动批作业，则需要在作业运维页面，将作业类型切换为批作业，才可以看到您上线的批作业。系统默认展示的作业为流作业。
  5. 查看Flink计算结果。
    • 流作业示例的计算结果：在TaskManager中以.out结尾的日志文件中，搜索shakespeare查看Flink计算结果。流结果
    • 批作业示例的计算结果：登录OSS管理控制台，在您配置的数据输出文件存放目录查看结果。
      本示例中的数据输出文件目录为oss://flink-test-oss/artifacts/namespaces/flink-test-default/batch-quickstart-test-output.txt。批作业结果

相关文档