通用联邦学习模板
交叉验证：在交叉验证中，数据集被划分为训练集和验证集两部分，模型基于训练集进行训练，然后用验证集来评估模型的性能。这种方法可以有效地评估模型的泛化能力，并减少因样本随机性带来的影响。混淆矩阵：评估分类模型性能的一种重要工具...
数据集管理
训练集管理 训练集 新建 训练集是用来进行模型训练的数据集。训练集的数据来源于“意图包含语句新建、意图包含语句导入、已完成标注任务、已完成的复核任务”。每次进行模型训练时，系统会自动生成训练集，不需要人工进行创建。已建训练集...
数据拆分
训练集是模型用来学习的数据集，可以用于训练模型并优化模型的参数。测试集是模型未见过的数据集，用于评估模型的性能和泛化能力。测试集的数据应该来自于相同的数据分布，并且应该是独立于训练集的。数据拆分可以通过随机抽样或按照一定...
LightGBM算法
automl_column 自动调参用来区别训练集和开发集的列名。使用时需要指定 automl_column 和 automl_test_tag，建议 automl_train_tag 的数据数量比 automl_test_tag 的数据数量多4～9倍。说明 当设置 automl_column 参数值后，会开启自动搜索...
配置训练数据和代码
本文介绍如何在AI开发控制台配置训练用的数据集和代码。前提条件 已创建ACK Pro版集群。ACK Pro版集群已安装云原生AI套件的 开发控制台 和 调度组件，且集群Kubernetes版本不低于1.20。集群管理员在 RAM控制台 创建子账号（即RAM用户），并...
模型调优
模型调优 模型调优是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型效果。...
如何开启模型训练
视频介绍 定义 模型调优是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型...
数据集管理
数据集列表 对新建的数据集进行管理，可以对已经建立好的数据集进行【新增】：同上新建训练集【删除】：对不需要的数据集合进行删除【筛选】：通过数据集包含的标签进行数据集的筛选，方便用户查找相关指标的数据集，默认显示当前工作区的...
文本内容风控解决方案
操作流程 基于阿里云 PAI 平台，构建文本内容风控解决方案的流程如下：准备数据 基于 iTAG 进行原始数据标注，然后将获得的训练集和测试集上传到数据仓库MaxCompute中，用于后续的模型训练。构建文本分类模型 在可视化建模平台 Designer 中...
基本概念
训练数据 训练集 构建合适训练集，通过模型调优可增强模型能力，提升预测效果，平台支持多轮训练数据、单轮训练数据、在线编辑及效果预览功能。评测集 构建合适的评测集，通过模型评测评估模型效果，发现模型问题，评测集包括Prompt及...
数据集管理
数据集模块是用来管理用户存储与组织样本及标注数据的数据组织单位数据集。前提条件 已新建工作区。具体操作请参见 工作区管理。新建数据集 用户需要新建数据集，来对模型训练需要使用的大量样本数据进行组织与管理。在左侧导航栏选择 自...
工作原理
训练集的时间长度需大于12天，因为模型训练任务需要历史一周的数据做为特征工程的前提条件；验证集长度需大于3天，因为需要三天的数据给出验证报告，更好地说明模型的拟合程度、鲁棒性以及表现水平。特征工程：包括同环比特征、平移特征、...
使用OSS中的数据作为机器学习的训练样本
本案例中的数据探索流程如下：本案例按8:2的比例将源数据拆分为训练集和测试集，其中一个订单中可能有多个item，故ID列选择order_id，保证含有多个item的订单不会被拆分，如下图所示：本案例中共有17个产品item。通过协同过滤算法组件，取...
图像检测训练（easycv）
假如为空，使用工作空间默认路径 无 训练集标注结果文件路径 否 如果 数据源格式 是 PAI标注格式，则提供文件后缀名为manifest的文件。如果 数据源格式 是 COCO格式，则提供后缀名为.json的文件。如果通过了输入桩配置算法组件的标注训练...
训练数据
训练集和评测集是训练提升及评估模型效果的重要数据，可通过此处统一管理训练集和评测集。上传训练集 点击上传数据集，下载模板（数据集模板/评测集模板）并再上传数据内容，点击完成。上传完成后，在列表中查看对应的数据，用户模型训练...
人物形象训练API详情
人物形象训练 说明 支持的领域/任务：aigc/facechain人物写真生成 对上传的图像...facechain-finetune training_file_ids Array Body 是 训练集文件列表，此处使用前述准备好的训练文件，支持url、file_id及两者混合"training_file_ids":[...
人物形象训练API详情
重要 人物形象训练API调用需“申请体验”并通过后才可使用，否则API调用将返回错误...facechain-finetune training_file_ids Array Body 是 训练集文件列表，此处使用前述准备好的训练文件，支持url、file_id及两者混合"training_file_ids":[...
API详情
必选 描述 job_name String Body 否 自定义任务名称，缺失该参数时，会使用自动生成的任务id替代 training_file_ids Array Body 是 训练集文件列表。validation_file_ids Array Body 否 验证集文件列表。model String Body 是 用于定制的...
API详情
必选 描述 training_file_ids Array Body 是 训练集文件列表。validation_file_ids Array Body 否 验证集文件列表。model String Body 是 用于定制的基础模型名，或其他定制任务产出的finetuned_output。hypter_parameters Map Body 否 ...
模型仓库（FastNN）
超参文件说明 PAI-FastNN支持以下类型的超参：数据集参数：确定训练集的基本属性的参数，例如训练集存储路径dataset_dir。数据预处理参数：数据预处理函数及dataset pipeline相关参数。模型参数：模型训练基本参数，包括model_name、batch_...
Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
测试用例与测试计划
云效2020版本已经发布，点击 使用新版，也可以查阅 云效2020的帮助文档 RDC提供测试用例和测试计划的功能，用于帮助开发者管理和执行手工用例，针对现在测试更加轻量快捷的特点，提供了以下功能：测试用例用于管理和组织手工用例，支持方便...
Min-Max归一化
一、组件说明 在联邦学习任务中，Min-Max归一...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【Min-Max归一化】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
Kohya使用方法与实践案例
不同的模型具有不同的侧重点，不同模型有各自的特色与适用领域，需要针对性地采用不同的训练数据集及训练策略来培养。其中，LoRA是一种轻量化的模型微调训练方法，在原大模型的基础上对模型微调，生成特定的角色或画风。LoRA模型训练方式...
使用PAI Python SDK训练和部署PyTorch模型
train_src#待上传的训练脚本目录|-requirements.txt#可选：训练作业的第三方包依赖 `-train.py#保存的训练作业脚本 提交训练作业 Estimator 支持用户使用本地的训练脚本，以指定的镜像在云上执行训练作业。训练作业脚本和命令 用户训练作业...
分箱
一、组件说明 分箱（Binning）是一种数据预处理方法，...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【分箱】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
横向分箱
一、组件说明 横向分箱（HomoBinning），是一种横向...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【横向分箱】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
EAS使用案例汇总
使用EAS Python SDK部署模型 介绍如何在Python环境中，通过SDK调用EAS接口来部署和调用基于MNIST数据集训练的手写数字识别模型服务。示例代码 介绍 EAS 的服务调用示例和Python SDK。Proxima在EAS上部署最佳实践 介绍如何将Proxima部署为...
使用EAS Python SDK部署模型
背景信息 本文旨在介绍如何在Python环境中，通过SDK调用EAS接口来部署和调用基于MNIST数据集训练的手写数字识别模型服务。MNIST数据集是手写的数字0~9的数据集，本文会随机选取一个手写数字测试样本并输出其灰度图像，以此作为输入数据对...
策略训练任务数据说明
策略训练任务输入数据格式说明 如果您要在后续使用智能发送来触达人群，则需要按照 个性化触达时间配置说明 来配置行为维表（behavior）和运营记录维表（operation）的数据。目录要求 训练任务输入数据依赖用户基础信息（user）、物品基础...
入门概述
数据准备与预处理 对原始数据进行预处理，生成模型训练集和模型预测集。数据可视化 对源数据或中间结果数据进行可视化处理，以获取数据分析结果。算法建模 使用符合业务场景的算法组件，加上预处理后的数据训练集进行算法建模。评估模型 ...
针对有异常标签的数据创建智能巡检任务
调用配置包括起始时间（训练集开始时间）、结束时间（验证集的开始时间）、模型的训练集的结束时间（验证集的结束时间），三种时间关系如下图所示。步骤二：查看训练结果 任务运行一段时间后，您可以在模型训练任务列表中，单击目标任务，...
Quick BI如何创建报表，来获取每日新建的表数据？
创建图表引用的数据集（下文称为数据集A），该数据集用来展示每日新增的数据源表数据，表名用占位符形式填写，并在参数设置中设置默认表名month1。创建一张数据源表，存储每日新增的表名称，并以此表创建数据集（下文称为数据集B）。通过...
针对无标签数据创建智能巡检任务
调用配置包括起始时间（训练集开始时间）、结束时间（验证集的开始时间）、模型的训练集的结束时间（验证集的结束时间），三种时间关系如下图所示。步骤二：查看训练结果 任务运行一段时间后，您可以在模型训练任务列表中，单击目标任务，...
模型管理
查看模型详情 模型在产出的同时，上传的数据会按照8:2的比例拆分为训练集和测试集，20%的测试集用作验证集对模型性能的优劣，在模型详情中会展示出整体的评估信息和单标签的评估信息。管理模型列表 您可以在 模型管理 页面查看已创建的模型...
模型训练
GDB Automl训练模型能够评估各个特征重要性程度：训练集、验证集、交叉验证的混淆矩阵：查看模型训练过程中的动态指标，随阈值不同的指标变化情况：单击 预览POJO，可以预览生成的模型POJO。单个模型训练 在工具栏模型训练处，也可以选择一...
语义意图增删改查
重要 完成意图新建后，有关意图的数据将自动录入到训练集用于模型训练。批量导入 进入智能对话分析系统后，选择 智能工具>语义模型训练工具>意图管理，进入意图管理界面；点击 导入 按钮进行意图批量导入；点击 上传Excel文件 按钮，完成...
创建训练任务
说明 如果配置了数据集，则训练结果默认输出到数据集挂载目录。如果您在执行命令时通过配置启动参数来指定了输出路径，则训练结果将会输出到指定的路径中。资源配置 在 资源配置 区域，完成以下关键参数的配置：参数 描述 资源配额 您可以...
生成中文摘要
说明 如果您希望使用自己的数据来微调训练模型，可以按照以下操作步骤来准备训练数据集。快速开始提供了训练数据集。您可以使用默认数据集，也可以自己准备数据。训练数据格式为：{"text":"<text>","summary":"summary"} {"text":"<text>",...
- 产品推荐
- 这些文档可能帮助您