推理加速（Blade）概述
PAI-Blade结合了多种优化技术，对训练完成的模型进行优化，从而达到最优的推理性能。同时，PAI-Blade提供的...部署模型推理，详情请参见 使用SDK部署TensorFlow模型推理、使用SDK部署PyTorch模型推理 和 使用Blade EAS Plugin优化并部署模型。
使用Blade优化基于TensorFlow的ResNet50模型
tar zxvf tf_resnet50_v1.5.tar.gz 步骤二：调用Blade优化模型 从上一步中下载的TAR包中获取TensorFlow模型和测试数据。import os os.environ["CUDA_VISIBLE_DEVICES"]="1"import numpy as np import time#import tf to import graphdef ...
成本洞察功能说明
成本分摊模型选项 ② 成本分摊模型选项，包含单资源模型和权重混合资源模型，具体分为如下几类。CPU模型：大盘默认选项。使用CPU资源请求量估算Pod成本 内存模型：使用内存资源请求量估算Pod成本。CPU-内存混合模型（推荐权重）：对CPU指标...
模型导出
是 buckets config所在的bucket和保存模型的bucket，如果有多个bucket，使用半角逗号（,）分隔，例如 oss:/xxxx/,oss:/xxxx/。是 extra_params 指定paiflow未定义参数。否 使用示例 创建如下工作流 区域 描述 1，2，3 模型训练的 使用实例...
集群成本洞察
成本分摊模型选项 ② 成本分摊模型选项，包含单资源模型和权重混合资源模型，具体分为如下几类。CPU模型：大盘默认选项。使用CPU资源请求量估算Pod成本 内存模型：使用内存资源请求量估算Pod成本。CPU-内存混合模型（推荐权重）：对CPU指标...
使用PAI Python SDK训练和部署PyTorch模型
PAI Python SDK 是PAI提供的Python SDK，提供了更易用的HighLevel API，支持用户在PAI完成模型的训练和部署。本文档介绍如何使用PAI Python SDK在PAI完成一个PyTorch模型的训练和部署。背景信息 PyTorch 是一个非常流行的深度学习框架，...
量化优化
TensorFlow模型量化 对TensorFlow模型进行基本优化的方法详情请参见 优化TensorFlow模型。此外，您还可以开启量化功能，即使用PAI-Blade优化时指定 optimization_level='o2'。如果硬件支持INT8计算并存在量化性能收益，则PAI-Blade会以默认...
搭建Alpaca-LoRa
通过DataCache提前拉取llama-7b-hf模型数据和alpaca-lora-7b权重数据，然后在创建Alpaca-LoRa应用Pod时直接挂载模型和权重数据，可以免去在Pod中拉取数据的等待时间，加速Apache-LoRa启动过程。背景信息 Alpaca-LoRa是一种使用Lora技术在...
PAI-TF模型导出和部署说明
本文为您介绍PAI-TF模型导出和部署相关说明，包括导出SaveModel通用模型、保存和恢复检查点以及如何将TF模型部署到EAS。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC...
EasyCKPT高性能CKPT发布
新增功能/规格 PAI-EasyCKPT是为PyTorch大模型训练场景而开发的高性能Checkpoint框架，通过异步化层次化保存、重叠模型拷贝和计算、网络感知异步存储的策略，实现近0开销的模型保存机制和大模型训练全过程精度无损的模型保存与恢复的能力。...
AI编译器优化
通过Dynamic Shape模式编译TensorFlow模型 以一个开源ASR模型为例，演示如何通过Dynamic Shape模式编译TensorFlow模型：下载模型和测试数据。下载示例模型、测试数据。wget ...
EasyCkpt：AI大模型高性能状态保存恢复
尽管可以通过做Checkpoint来保存和恢复进度，但Checkpoint本身的耗时与模型的大小成正比。对于当前典型的拥有百亿到千亿参数的大模型而言，Checkpoint的时间开销通常在几分钟到十几分钟之间。此时，训练任务需要暂停，使得用户难以频繁进行...
新建AIPL模型
您可以创建AIPL模型，用于 AIPL用户分析、AIPL流转分析、AIPL模型筛选受众 等。AIPL模型是一种将品牌人群资产定量化、链路化运营的手段。其中：背景信息 A（Awareness）：品牌认知人群，一般指与品牌被动发生接触的人群，例如品牌广告触达...
使用EAIS推理PyTorch模型（Python）
背景信息 本教程将引导您创建一个华东1（杭州）地域，eais.ei-a6.2xlarge规格的EAIS实例，并以公开的resnet50模型和bert-base模型为例，带您体验基于图像分类和NLP的推理场景下，使用EAIS推理PyTorch模型并获得性能加速的完整操作流程。...
新建RFM模型
您可以创建RFM模型，用于 RFM分析、RFM模型筛选受众 等。RFM模型是一种通过客户的R消费间隔（Recency）、F消费频率（Frequency）、M消费金额（Monetary）三项指标来衡量客户价值的手段。RFM模型对客户的三项指标的值分别进行量化评分，然后...
Stable Diffusion AIACC加速版部署文档
单击 DreamBooth 按钮进入Dreambooth finetune界面，然后单击 Create 按钮进入模型创建界面，并输入待生成的模型权重名称和生成权重的来源（已经预先准备了一个权重v1-5-pruned-emaonly.safetensors[6ce0161689]），然后单击 Create 按钮...
联邦模型管理
在联邦模型管理中，您可以统一管理和查看保存的所有模型信息和已经分发到各节点的模型存储地址。模型开发脚本编辑完成后，通过执行脚本任务可产出联邦模型。您可以将训练好的模型保存在模型管理中，并分发给各节点。各节点的技术运维人员...
在GPU实例上使用RAPIDS加速图像搜索任务
使用开源框架Tensorflow和Keras提取图片特征，其中模型为基于ImageNet数据集的ResNet50（notop）预训练模型。设定Tensorflow参数。Tensorflow默认使用所有GPU显存，我们需要留出部分GPU显存供cuML使用。您可以选择一种方法设置GPU显存参数...
Tensorboard：训练可视化
参数分布与直方图 显示weights、biases以及其他tensor的直方图等信息，用于分析模型权重、偏差等参数的分布特征，有助于优化模型和识别潜在问题。图像、音频或文本嵌入可视化 可以将embedding投影到低维空间进行可视化。其他性能指标 如...
TensorFlow模型如何导出为SavedModel
本文为您介绍如何将TensorFlow模型导出为SavedModel格式。SavedModel格式 使用 EAS 预置官方Processor将TensorFlow模型部署为在线服务，必须先将模型导出为官方定义的SavedModel格式（TensorFlow官方推荐的导出模型格式）。SavedModel模型...
预置Processor使用说明
对于Keras和Checkpoint模型，需要先将其转换为SavedModel模型，再进行部署，详情请参见 TensorFlow模型如何导出为SavedModel。说明 官方通用Processor不支持TensorFlow自定义OP。您可以通过如下任何一种方式部署TensorFlow模型：控制台上传...
新建实验
AutoML是PAI提供的机器学习增强型服务，集成了多种算法和分布式计算资源，无需编写代码，通过创建实验即可实现模型超参数调优，提高机器学习效率和性能。本文为您介绍如何新建实验。背景信息 AutoML的工作机制：实验会根据算法配置自动生成...
OSS存储读写分离最佳实践
OSS为共享存储，支持ReadOnlyMany和ReadWriteMany两种访问模式。ossfs适用于并发读场景，建议您配置PVC和PV的访问模式为ReadOnlyMany。本文介绍在读多写少场景下如何通过OSS SDK、ossutil工具等方式实现数据的读写分离。前提条件 已创建...
召回定制词权重
详情页说明 词权重模型列表页介绍 词权重模型类列表页 词权重模型列表包含模型名称、模型类型、模型状态、最后训练开始时间、最新版本状态、操作等。注意：已被引用的定制召回模型不可删除；词权重模型详情页介绍 详情页包含基本信息、配置...
使用EAIS推理TensorFlow模型
本文为您介绍使用EAIS推理TensorFlow模型的具体操作。前提条件 已将EAIS实例绑定至ECS实例上。具体操作，请参见 绑定实例。已将您需要推理的TensorFlow模型文件放至已绑定EAIS实例的ECS实例客户端的目录下。使用限制 Python版本：3.6~3.7。...
高级配置：模型服务预热
本文以Python SDK和Java SDK为例，构造TensorFlow模型服务的请求。对于其它有预热需求的模型服务，您可以使用对应的SDK，参见生成TensorFlow预热文件的方法构造服务请求。对于将字符串作为输入的模型服务，您可以将请求按照STRING存入TXT...
工作原理
结果保存和可视化：模型训练任务完成后，系统会将所训练的模型进行云端保存，将数据集的验证结果、任务运行的事件等以日志形式保存到名为internal-ml-log的Logstore中。您还可以通过任务详情查看可视化结果。创建预测任务：模型训练任务...
基于Kubeflow或Seldon的在线服务
您可以根据提供的dsdemo代码，将Tensorflow，Pytorch和Python等模型部署到Seldon中。前提条件 已创建DataScience集群，并且选择了Kubeflow服务，详情请参见 创建集群。已进行keras-API训练，详情请参见 基于Kubeflow的Training示例。下载...
优化TensorFlow模型
优化TensorFlow模型 本文以一个公开的ResNet50模型为例，演示如何优化TensorFlow模型。您也可以对自己的TensorFlow模型进行优化。导入PAI-Blade和其他依赖库。import os import numpy as np import tensorflow.compat.v1 as tf import ...
基本概念
Processor 在线预测逻辑（模型加载和请求预测逻辑）的程序包，通常与模型文件一起部署，从而获得模型服务。PAI支持以下两类Processor：预置Processor：针对常用的PMML、TensorFlow等模型，EAS提供了预置的Processor。自定义Processor：如果...
Tensorflow
背景信息 对于Keras和Checkpoint模型，您需要先将其转换为Savedmodel模型，再进行部署，详情请参见 TensorFlow模型如何导出为SavedModel。PAI-Blade优化过的模型可以直接运行。Tensorflow Processor版本说明 Tensorflow支持多个版本，包括...
三维模型常见问题
需要有专门的数据工作流程，将BIM模型处理为轻量化三维展示模型和空间关系数据，再进入三维渲染引擎使用。为什么不能全程手工建模？规范的三维模型是需要建设成本的，全程建模的成本异常高。全程手工建模的模型体量也是异常巨大，渲染引擎...
保存模型配置
保存模型配置 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 SaveModelConfig 系统规定参数。...
EasyRec Processor（推荐打分服务）
通过联合优化特征工程和TensorFlow模型，EasyRec Processor能够实现高性能的打分服务。本文为您介绍如何部署及调用EasyRec模型服务。背景信息 基于EasyRec Processor的推荐引擎的架构图如下所示：其中EasyRec Processor主要包含以下模块：...
Python接口文档
OptimizeSpec,OptimizeReport]:pass 输入参数 参数 类型 是否必选 描述 默认值 model 多种 是 待优化的模型，支持以下类型的模型：如果优化TensorFlow模型，支持以下格式：GraphDef对象。GraphDef PB文件路径，即以.pb 或.pbtxt 为后缀的...
GetFunctionCurrentVersion-获取当前版本
模型类型，不同功能对应的模型类型如下：CTR 模型：tf_checkpoint 人气模型：pop 类目模型：offline_inference 热词模型：offline_inference 底纹模型：offline_inference 下拉提示模型：offline_inference 分词模型：text 词权重模型：tf_...
使用EasyASR进行语音识别
EasyASR（语音智能增强算法包）提供多种模型的训练及预测功能，旨在帮助语音智能应用开发者方便快捷地构建语音模型并应用于生产。本文以语音识别为例，为您介绍如何在 DSW 中使用EasyASR算法包。前提条件 已创建 DSW 实例，且该实例满足...
快速入门概述
消息服务MNS 支持使用队列模型和主题模型收发消息，实现一对一或者一对多的消费模式，本文以简单明了的方式让您快速上手 消息服务MNS。背景信息 消息服务MNS 提供队列模型和主题模型。队列模型：支持一对一的消费模式。队列模型 队列模型...
模型训练
使用 model.save()保存模型，该方法接受 saved_path 参数作为保存路径。当不指定该参数时，保存路径由实例化模型时输入的 file_uri 参数决定。模型训练代码示例 from typing import Union,Tuple,Dict import tensorflow as tf from ...
模型训练
buckets 是 config所在的Bucket和保存模型的Bucket。如果有多个bucket，使用半角逗号（,）分隔，例如 oss:/xxxx/,oss:/xxxx/。model_dir 是 模型目录，如果指定了 model_dir 将会覆盖Config里面的model_dir，一般在周期性调度的时候使用。...
- 产品推荐
- 这些文档可能帮助您