实时研发-基于Flink on K8s

更新时间:
复制为 MD 格式

场景

公司A已购买Dataphin的独立部署版本,但希望体验实时研发功能,可以如何操作?

解决方案及功能

实时研发基于Apache Flink,因此需要构建一个独立的Flink集群。Dataphin提供了基于KubernetesFlink部署模式,允许利用调度集群运行Flink任务。

说明
  • 目前仅独立部署和半托管可以使用该部署模式。

  • 调度集群必须基于Kubernetes架构,不能采用Mesos架构。

  • 指定checkpoint存储,目前已支持NFS、Amazon S3、Azure Blob Storage进行存储,并确保存储服务与调度集群之间的网络是通畅的。

  1. 前往规划 > 计算源中创建Flink计算源,其中部署模式选择Kubernetes、文件系统选择NFS并补充其余配置信息。image

  2. 为项目绑定此实时计算源。

  3. 创建实时任务自定义资源组,该资源组用于分配运行实时任务的资源。image

  4. 创建Flink SQL任务时,生产和开发环境资源队列选择以上自定义资源组。

  5. 前往研发 > 任务运维 > 实时任务中,启动对应实时实例。