Designer概述

Designer(Studio 2.0)是PAI产品基于云原生架构Pipeline Service -- PAIFlow的可视化建模工具,提供端到端的机器学习全链路开发环境,帮助您实现端到端的机器学习开发流程。同时,Designer中内置了丰富且成熟的机器学习算法,覆盖商品推荐、金融风控及广告预测等场景,支持基于MaxCompute、通用训练资源、Flink等计算资源进行大规模分布式运算,可以快速满足不同方向的业务需求。

Designer&PAIFlow产品架构

image

Designer功能特性

  • Designer支持阿里云主子账号登录方式。如果使用子账号,则需要主账号对其进行授权,详情请参见云产品依赖与授权:Designer

  • Designer支持使用模板或手动创建工作流。通过模板可以快速创建工作流,运行成功后,直接进行模型部署。关于如何创建及管理工作流,详情请参见参考工作流概述

  • 系统提供百余种AI开发流程组件,支持接入MaxCompute表数据或OSS数据等多种数据源,通过自带阿里最佳实践的算法进行模型构建,并将模型部署至EAS。

  • 提供当前工作流相关任务的管理、工作流版本管理及回滚,详情请参见调试模型

  • 进行模型训练时,Designer提供可视化大屏,对过程中的数据、模型、评测指标进行可视化分析,辅助您获得最佳模型。

  • Designer支持工作空间内的工作流协作共享,同时支持将运行成功的工作流部署至DataWorks做周期性调度或者发布为自定义模板

  • Designer工作流中开发测试完成的模型支持注册至模型管理,一键部署模型服务或是打包成复合模型进行部署,详情请参见模型预测概述

Designer提供的工作流组件

Designer为您提供百余种组件,满足多种场景的使用,组件详情请参见组件参考:所有组件汇总

从使用场景来区分,包括以下三种类型的组件:

  • 传统机器学习组件

    包括数据预处理、特征工程、统计分析、异常检测、推荐算法、时间序列及网络分析等算法组件。

  • 深度学习框架组件

    包括基于PAI-Easy系列的视觉类算法、语音类算法、自然语言处理算法,及TensorFlow、PyTorch等深度学习框架。

  • 自定义算法组件

    包括SQL脚本、Python脚本、PyAlink脚本等自定义算法组件,可以满足您更加定制化的算法工作流串联需求。

从实现框架及支持的计算资源来区分,包括Alink框架及PAICommand框架,两种框架的算法组件各自有一些独特的功能特性:

  • Alink框架算法组件(组件上有紫色圆点标记),支持运行在MaxComputeFlink通用训练资源上。

  • PAICommand框架算法组件除了支持直接使用组件,还支持PAI命令的调用方式。您可以在DesignerSQL组件、DataWorks数据开发、MaxCompute命令行工具中进行调用。

Designer的使用流程

Designer的使用流程图如下所示。

image
  1. 创建工作流

    使用Designer建模前,您需要新建一个工作流。工作流支持多种创建方式,您可以结合自身业务情况,选择合适的方式来创建工作流。

  2. 模型训练

    Designer工作流页面,使用Designer提供的组件构建模型,并选择所需的计算资源(包括MaxCompute、Flink、通用训练资源)运行工作流来调试模型,最终完成模型训练。后续您也可以通过调度配置,来指定工作流是否需要周期性自动运行,实现模型定时自动更新。

  3. (可选)可视化分析

    模型训练完成后,您可以使用可视化大屏快速查看分析报告,来评估模型是否满足预期要求。

  4. 部署模型

    模型训练完成后,您可以生产化部署模型对新数据进行预测。

工作流调度引擎:PAIFlow

  • PAIFlowDesigner底层的工作流调度引擎,您可以从Designer提交工作流任务到PAIFlow执行,也可以通过PAIFlow OpenAPI直接构建工作流并在PAIFlow执行

    说明

    通过PAIFlow OpenAPI构建的工作流不会在Designer中展示,OpenAPIDesigner可以理解为两个独立的实现构建并提交PAIFlow任务的客户端,面向不同需求。

  • PAIFlow任务管理页包含了全部通过OpenAPI、Designer手动执行、DataWorks周期性调度Designer工作流提交的Pipeline任务,详情请参见管理工作流任务

PAIFlow OpenAPI

习惯于使用OpenAPI进行开发的用户,建议使用PAIFlow进行工作流的创建和任务提交,详情请参见API概览

说明

Designer创建的工作流无法通过PAIFlowOpenAPI进行管理,但Designer提交的工作流任务可以在PAIFlow的任务管理中统一管理。