数据传输方案
您需要按照目录要求配置数据，并将准备好的维表数据上传至阿里云对象存储OSS（Object Storage Service），详情请参见 上传文件。说明 运营成功标签的搜集可能会用到运营发起后后几日的数据，因此PAI接受运营记录维表延后几日上传。使用...
模型及数据常见问题
方法3：前往DataWorks数据开发中进行建表和数据上传，详情请参见 建表并上传数据。PAI Designer/Studio中的数据展示出现blob字符 现象描述 在画布中，右键单击组件，在快捷菜单，单击 查看数据 时，部分文本显示为 blob 字符。解决方法 ...
功能特性
一站式的机器学习体验 PAI支持从数据上传、数据预处理、特征工程、模型训练、模型评估到模型发布的机器学习全流程。支持主流深度学习框架 PAI支持TensorFlow、Caffe及MXNet等主流的机器学习框架。可视化的建模方式 Designer 封装了经典的...
图像内容风控解决方案
针对该问题，阿里云 PAI 提出了如下解决方案，借助人工智能算法，帮助您快速判断风险内容：解决方案 基于 iTAG 平台和PAI数据集管理，对目标场景的图像进行快捷标注和样本管理。基于PAI提供的预训练模型，针对自己的图像风控场景，在可视化...
ExportAnnotations-导出标注结果
取值如下：true：将标注结果注册为 PAI 数据集。false：直接将标注结果导出至 OSS 目录，不注册数据集。true 返回参数 名称 类型 描述 示例值 object 项目。Code integer 返回编码，默认为 0，表示执行正常。0 Message string 请求的返回...
概述
您可通过PAI数据集管理模块创建数据集，系统会为该数据集自动生成标注所需要的.manifest 数据格式。具体的数据格式请参见 创建数据集：通用模板数据标注场景 和 创建数据集：自定义模板数据标注场景。导出的标注结果的数据格式 iTAG 的标注...
DLC使用案例汇总
使用paiio读写MaxCompute表数据 PAI团队开发了paiio模块，支持您在 DLC 任务中读写MaxCompute表数据。该文档介绍如何使用paiio读写MaxCompute表数据。基于AIMaster的容错监控 介绍如何使用 DLC 提供的基于AIMaster的容错监控功能。快速提交...
模型评测
公开数据集：已经由PAI上传并维护，可以直接使用。目前PAI维护了 MMLU、TriviaQA、HellaSwag、GSM8K、C-Eval、TruthfulQA，其他公开数据集陆续接入中。自定义数据集：如果需要基于自定义评测文件，需要提供JSONL格式的评测文件，可自行上传...
大数据和AI体验教程
如何使用AutoML进行自动调参训练 实操演示课程 如何查看logview并进行日志分析 实操演示课程 如何在PAI-EAS定时自动部署模型服务 实操演示课程 DLC深度学习训练平台 实操演示课程 通过MaxCompute和OSS上传数据 实操演示课程 在PAI-EAS中...
工业质检解决方案
解决方案 基于智能标注（iTAG）平台和PAI数据集管理，对目标场景的数据进行快捷标注和样本管理。基于PAI提供的模型和算法，针对自己的数据，在DSW平台上进行模型Fine-Tune，从而构建具体场景的质检模型。将模型进行EAS在线部署，形成完整的...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
文本内容风控解决方案
针对该问题，阿里云 PAI 提出了如下解决方案，借助人工智能算法，帮助您快速判断风险内容：解决方案 基于 iTAG 平台和PAI数据集管理，对目标场景的文本进行快捷标注和样本管理。基于PAI提供的BERT迁移学习预训练模型，针对自己的文本风控...
上传与下载数据文件
相关文档 数据上传完成后，您可以使用交互式模型（DSW），DSW是PAI产品的云端机器学习开发IDE，为您提供交互式编程环境，详情请参见 DSW概述。DSW支持接入多种数据源，包括OSS、NAS和MaxCompute，详情请参见 读写数据与文件传输。
产品架构
按照机器学习全流程，PAI分别提供了数据准备、模型开发与训练以及模型部署阶段的产品：数据准备：PAI提供了标注服务，支持在多种场景下进行数据标注和数据集管理。模型开发与训练：PAI提供了可视化建模（Designer）、交互式建模（DSW）、...
相似标签自动归类
您需要前往DataWorks数据开发模块，新建一个只包含一个列名为content的表，并将上述准备好的数据上传至该表中。具体操作，请参见 建表并上传数据。相似标签自动归类 进入Designer页面。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在...
数据安全
数据存储安全 PAI提供数据集管理模块，支持导入公共数据集、阿里云云产品中的数据等创建为数据集，也支持扫描OSS文件夹生成索引数据集，为智能标注、模型训练做准备。读取和存储数据至OSS及NAS，实现数据集、模型等数据文件的存储安全。...
Dataset
USER 来自用户 ITAG 来自标注平台 ITAG PAI_PUBLIC_DATASET PAI 公开数据集 枚举值：PAI_PUBLIC_DATASET：PAI_PUBLIC_DATASET。ITAG：ITAG。USER：USER。USER SourceId string 来源 ID。jdnhf*fnrimv Description string 描述。用于标注的...
CreateDataset-创建数据集
当 SourceType 为 PAI_PUBLIC_DATASET 时，即使用 PAI 公共数据集创建的数据集时，SourceId 默认为空。jdnhf*fnrimv Description string 否 对数据集进行自定义描述，以区分不同的数据集。用于标注的数据。WorkspaceId string 否 数据集...
ListDatasets-获取数据集列表
当 SourceTypes 为 PAI_PUBLIC_DATASET 时，即使用 PAI 公共数据集创建的数据集时，SourceId 默认为空。d-rbvg5wzljzjhc9ks92 SourceTypes string 否 来源类型，多项之间使用半角逗号分隔。支持以下取值：PAI-PUBLIC-DATASET：PAI 公共数据...
附录：公共数据集
背景信息 PAI提供如下公共数据集：CIFAR-10图像数据集 PASCAL VOC 2007图像数据集 内容风控领域的图像分类数据集 内容风控领域的目标检测数据集 Deepfashion2图像数据集 CIFAR-10图像数据集 CIFAR-10是广泛应用于深度学习图像分类领域的...
GetDataset-获取数据集
当 SourceType 为 PAI_PUBLIC_DATASET 时，即使用 PAI 公共数据集创建的数据集时，SourceId 默认为空。jdnhf*fnrimv WorkspaceId string 数据集所在工作空间 ID。478*Options string 扩展字段，JsonString 类型。当 DLC 使用数据集时，可...
API概览
本产品（机器学习PAI-数据集加速器/2022-08-01）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足...
使用PAI Python SDK训练和部署PyTorch模型
ossutil 上传相应的文件（ossutil的安装和使用请见文档：ossutil概述），或是PAI Python SDK里提供的便利方法，将本地训练数据上传到OSS Bucket的/mnist/data/路径下。通过 ossutil 上传：ossutil cp-rf./data oss:/<YourOssBucket>/mnist/...
DSW网络配置
不涉及 不涉及 如果您希望提升DSW实例中模型和数据的上传和下载速度，可以选用专有公网网关，并且配置出口网络（包括公网NAT网关、SNAT条目等），从而提高带宽以及减小网络拥塞。选择您所需的专有网络、安全组和交换机。选择 专有网关，...
MaxCompute K均值聚类最佳实践
本方案使用公开数据源 pai_online_project.pai_kmeans_test_input 和 pai_online_project.pai_cluster_evaluation_test_input，您可以直接使用。步骤二：新建实验 进入 新建实验 页面。具体操作，请参见 新建实验。在 新建实验 页面，配置...
Designer常见问题
本文提供Designer各类常见问题的入口链接汇总。Designer算法支持哪些MaxCompute数据类型的字段 x13_...如何上传本地数据进行训练？Designer/Studio中的数据展示出现blob字符 如何在Designer中预览OSS文件 算法组件运行失败，如何定位问题？
数据预标注：智能标注配置
将离线预标注数据文件创建为数据集时，需创建为OSS类型的数据集，操作详情请参见 创建数据集：本地上传。离线 预标注任务配置要点 在创建标注任务时，您可以在 智能标注配置 配置向导页面配置以下参数，具体参数说明如下。在 服务配置 区域...
特征离散
特征离散算法组件是将连续特征按照一定的规则进行离散化。...参数配置 输入数据为 pai_dense_10_1。离散特征选择 nr_employed，离散方法选择 等距离散，离散区间个数配置为 5。运行结果 nr_employed 4.0 3.0 1.0 3.0 2.0 4.0 3.0 3.0 2.0 3.0
推理加速（Blade）概述
工作原理 PAI-Blade以Wheel包的形式安装到用户环境，无需申请资源、上传模型和数据的繁琐步骤。您可以在代码中调用PAI-Blade的Python接口，使模型优化集成在工作流中，且能够在本地对优化完成的模型进行性能验证。此外，您还可以便捷地尝试...
基于etrec的U2I2I召回
数据集 pai_online_project.rec_sln_demo_behavior_table 字段名 类型 描述 request_id BIGINT 埋点ID/请求ID user_id BIGINT 用户唯一ID exp_id STRING 实验ID page STRING 页面 net_type STRING 网络类型 event_time BIGINT 行为时间 ...
过滤式特征选择
根据您使用的不同特征选择方法，从所有稀疏或稠密格式的特征数据中选择并过滤出TopN的特征数据，同时保存为特征重要性表，实现了降低模型训练的难度和提高训练模型的精确度。本文为您介绍 Designer 提供的过滤式特征选择组件的参数配置和...
在FeatureStore中使用自动特征工程（AutoFE）
准备工作 同步数据表pai_online_project.finance_record 为方便实践操作，我们已在MaxCompute可公共读取项目pai_online_project中提前预置了模拟生成的数据表，您需要在DataWorks中执行如下SQL命令，将该数据表从pai_online_project项目...
创建自定义组件
PAI_USER_ARGS、PAI_INPUT_{CHANNEL_NAME}、PAI_OUTPUT_{CHANNEL_NAME} 环境变量来读取超参、输入和输出管道数据，具体数据读取方法，请参见 如何读取管道及超参数据。例如：输入管道名称分别为test、train；输出管道名称分别为model、...
智能文创解决方案
步骤一：准备数据 将训练数据集和验证数据集上传到OSS Bucket中，用于后续的文本摘要模型训练和预测。步骤二：构建文本摘要模型 在 Designer 可视化建模平台，使用文本摘要训练组件，基于海量大数据语料预训练获得的NLP预训练模型，构建...
Caffe服务请求构造
输入数据说明 PAI-EAS预置了Caffe Processor，为保证性能，其输入输出为ProtoBuf格式。调用案例 PAI-EAS在华东2（上海）的VPC环境中部署了一个Public的测试案例，其服务名称为 caffenet_serving_example，访问Token为空。您可以通过URL ...
什么是人工智能平台PAI
支持一站式机器学习，您只需准备好训练数据（存放到OSS或MaxCompute中），所有建模工作（包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境）都可以通过PAI实现。对接DataWorks，支持SQL、UDF、UDAF、MR...
部署及微调Mixtral-8x7B MoE模型
关键配置如下：数据集配置：当完成数据的准备，您可以将数据上传到对象存储OSS Bucket中，或是通过指定一个数据集对象，选择NAS或CPFS存储上的数据集。您也可以使用PAI预置的公共数据集，直接提交任务测试算法。计算资源配置：算法需要使用...
智能圈选人群
PAI为您提供智能圈选人群功能，您可以通过 策略训练任务 选择使用内置的智能算法，对人群数据（训练数据）进行训练，生成圈选策略，再基于圈选策略通过 人群圈选任务 对人群数据（预测数据）进行智能筛选过滤，产出目标人群数据。...
创建标注任务
输入数据集 选择在PAI数据集管理中已经创建的数据集。模板类型 支持以下类型的模型：通用模板：平台预置的常用模板。自定义模板：详情请参见 标注模板。模板 模板类型 为 通用模板 时，支持选择细分的通用模板类型，当前支持：图像类 模板...
入门概述
新建自定义工作流 将原始数据上传至MaxCompute或OSS中，并配置工作流数据源。数据准备与预处理 对原始数据进行预处理，生成模型训练集和模型预测集。数据可视化 对源数据或中间结果数据进行可视化处理，以获取数据分析结果。算法建模 使用...
- 产品推荐
- 这些文档可能帮助您