Flink全托管资源管理

PAI新增了Flink全托管资源,您可以购买Flink全托管资源,并关联到工作空间,用于PAI大规模分布式模型训练。本文为您介绍如何开通购买Flink全托管资源以及如何使用该资源进行模型训练。

Flink全托管资源

阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,有关Flink全托管资源的详细信息请参见Flink全托管资源概述

前提条件

在开始执行操作之前,请确认您已经完成以下准备工作:

  • 购买Flink全托管资源需要使用阿里云账号。如果您还没有阿里云账号,请先完成注册,详情请参见阿里云账号注册

操作账号和权限要求

  • 阿里云主账号(推荐):使用该账号可完成所有操作,无需额外授权。

  • RAM用户:

    • 购买Flink全托管资源,需要为该RAM用户授予AliyunStreamFullAccess权限,详情请参见RAM授权

    • 提交训练任务到Flink全托管资源,您需要在Flink开发控制台的项目空间中为该RAM用户添加owner角色,详情请参见项目空间授权

    • 关联Flink全托管资源到工作空间,需要在工作空间中为该RAM用户添加管理员角色;在Designer中使用Flink全托管资源进行模型训练,需要在工作空间中为该RAM用户添加算法开发角色。具体操作,请参见管理成员

购买Flink全托管资源

  1. 登录PAI控制台

  2. 在左侧导航栏单击AI计算资源 > 资源配额,在资源配额页面中单击Flink全托管资源

  3. 可选:Flink全托管资源页面中,单击去开通

    说明

    如果您首次使用Flink全托管资源,则需要执行该操作步骤,并参考开通实时计算Flink购买Flink全托管资源。

    如果您想购买更多Flink全托管资源,可以执行后续操作步骤。

  4. Flink全托管页面中,单击资源管理

  5. 实时计算控制台页面,单击立即购买,关于如何购买Flink全托管资源,详情请参见开通实时计算Flink

    购买成功后,在Flink全托管资源页面中,您可以看到购买成功的Flink全托管资源以及其他关键信息。image.png

关联Flink全托管资源到工作空间

如果您需要在PAI中使用Flink全托管资源进行计算,您可以通过以下两种方式将已购买的Flink全托管资源关联到工作空间。

  • 创建工作空间时,新增关联资源组。关于如何关联资源组,详情请参见创建工作空间

  • 在已经创建完成的工作空间中添加Flink计算资源,具体操作如下所示。

    1. 登录PAI控制台

    2. 在左侧导航栏单击工作空间列表。在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间。

    3. 在工作空间详情页面右侧,单击资源管理,并按照界面操作指引关联Flink全托管资源。具体操作,请参见管理工作空间计算资源

Designer中使用Flink全托管资源进行模型训练

  1. 进入关联了Flink全托管资源的工作空间,并在Designer页面创建空白工作流,详情请参见新建自定义工作流

  2. 在画布中拖入支持在Flink全托管资源上运行的组件,包括:

    • Alink框架的所有组件(不包括Beta组件),组件上有紫色标识。image.png

    • 自定义算法组件(PyAlink脚本)。

  3. 在画布右侧工作流属性页签,从Alink/FlinkML算法默认执行资源列表中选择Flink

    image.png

    重要

    如果Alink组件成组执行,您需要同时将Alink组执行资源类型切换到Flink,否则,执行的资源类型为Alink组的默认资源类型。关于如何设置Alink组资源类型,详情请参见高级功能:Alink组件成组执行

  4. 运行组件,支持以下几种方式:

    • 单独运行依赖Flink全托管资源的组件,以运行PyAlink脚本组件为例,详情请参见PyAlink脚本

    • 依赖Flink全托管资源的组件和依赖其他资源类型的组件串联使用。以基于Alink框架的FM推荐为例,FM训练和FM预测组件依赖Flink全托管资源,二分类评估组件依赖MaxCompute计算资源。

    • 批量运行依赖Flink全托管资源的组件,详情请参见高级功能:Alink组件成组执行

  5. 组件运行完成后,右键单击工作流中的组件,在快捷菜单中,单击查看日志

    image.png您也可以在日志框中单击vvp日志链接,查看更详细的计算信息。