机器学习
MADlib机器学习模块主要解决以下问题：分类/回归问题：提供一系列算法如K最近邻、MLP多层感知神经网络、SVM支持向量机、决策树等算法来解决二元分类/回归问题，集成最小二乘法、GLM广义线性回归、逻辑回归、多项式回归等模型来解决回归问题...
机器学习（MADlib）
插件简介 MADlib机器学习模块主要解决以下问题：分类、回归问题：提供一系列算法，如K最近邻、MLP多层感知神经网络、SVM支持向量机、决策树等算法来解决二元分类、回归问题，集成最小二乘法、GLM广义线性回归、逻辑回归、多项式回归等模型...
组件参考：所有组件汇总
组件类型 组件 描述 自定义组件 自定义组件 支持在AI资产管理中创建自定义组件，自定义组件创建成功后，您可以在Designer中将该组件与官方组件串联使用进行模型训练。源/目标 读OSS数据 该组件用来读取对象存储OSS Bucket路径下的文件或...
Word2Vec
Word2Vec算法组件利用神经网络，通过训练，将词映射为K维度空间向量，且支持对表示词的向量进行操作并和语义相对应。输入为单词列或词汇表，输出为词向量表和词汇表。使用说明 Word2Vec组件的上游需要接入 词频统计 组件。说明 词频统计的...
安全防护
同时内置深度神经网络和机器学习等先进技术，通过样本扫描、特征萃取、特征对比和文件聚类等算法，实现多达44种敏感数据的精准识别。同时数据安全中心提供了敏感数据发现后的自动分类分级以及统计展示能力，通过对结构化和非结构化数据源的...
性能指标
LogisticRegressionWithHe 10万 100维*100维 训练 50分钟 神经网络MLP 100万 100维*100维 训练 30分钟 决策树-XGBoostWithDp 5亿 100维*100维 离线预测 50分钟 决策树-GBDTWithDp 5亿 100维*100维 离线预测 120分钟 线性回归-...
NVMe协议介绍
在将样本标注写入后，会将数据拆分给多个节点进行神经网络的分布式计算，特别是在以GPU为计算资源的高性能机器学习场景，慢速存储很可能成为整个系统的瓶颈，此时利用NVMe共享云盘的高性能，能有效地加速整个机器模型训练的性能。
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
数据集加速器概述
通过感知深度学习训练的模型类型、网络结构，对图片、文本、视频等数据进行预先打包和处理，提升海量小文件训练场景的性能。全托管，开箱即用。云上全托管服务，操作简单，开通即可使用。弹性可伸缩。依托于云上IaaS（Infrastructure-as-a-...
MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
概览
本文为您介绍网络质量分析器的概念、应用场景、产品优势、计费方式和使用限制。什么是网络质量分析器 网络质量分析器（Internet Performace Analyzer）可以提供互联网全链路的网络质量分析能力。本服务提供的SDK集成到用户应用程序或者SDK...
横向MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
基本概念
cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集合。AIACC-Taining 阿里云自研的分布式训练任务AI加速器，可以显著提升训练性能。AIACC-Inference 阿里云自研...
基于eGPU优化套件的ResNet50模型训练和推理
本文以卷积神经网络模型ResNet50的训练和推理为例，为您介绍如何通过Docker或Kubernetes使用eGPU优化套件，进行GPU容器虚拟化和资源共享。本实践中的ResNet50模型基于NVIDIA官方开源代码DeepLearningExamples实现。步骤一：准备模型和数据...
查看网络实例连接
将VPC实例、VBR实例、IPsec连接实例、CCN实例连接至转发路由器后，您可以在转发路由器实例详情页面查看网络实例连接的相关信息。查看网络实例连接 登录 云企业网管理控制台。在 云企业网实例 页面，找到目标云企业网实例，单击目标实例ID。...
PAI-TF概述
背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种神经网络模型，对语音、图像及文本等领域的模型训练效率极佳。TensorFlow的功能丰富且强大，并拥有高度灵活的API，受到业界的高度关注。PAI-TF是人工智能平台...
打通非阿里云业务的网络通道
当企业的业务部署在非阿里云环境时（如IDC、AWS、腾讯云等），可以通过SASE连接器或者其他阿里云网络实例连接组网，实现企业用户通过SASE终端访问非阿里云环境的业务。本文介绍如何打通非阿里云业务的网络通道。选择合适的网络打通方式 ...
防护配置
威胁情报可将阿里云全网检测到的恶意IP同步到云防火墙，如：恶意访问源、扫描源、暴力破解的源IP等，并对其精准拦截，可提前感知网络威胁源。建议您开启威胁情报。设置基础防御 在 高级设置 区域，开启 基础规则 开关，云防火墙默认为您...
创建安全联邦学习任务（任务模式）
适用特征维度特别多，特别是神经网络算法。数据集设置 配置使用方和加持方的数据信息，用于后续的数据处理。使用方：指需要数据的一方。加持方：指提供数据的一方。训练集：需训练的数据表。Label字段：指标签字段，用于后续训练学习。对齐...
Kohya使用方法与实践案例
此时您可以选择借助神经网络，完成对所有图片批量生成文本描述的工作。您也可以在Kohya中选择使用一个叫做BLIP的图像打标模型。打标 数据集 在Kohya-SS页面，选择 Utilities>Captioning>BLIP Captioning。选择已创建的数据集里面上传的图片...
模型创建
TFT TFT（Temporal Fusion Transformer）算法是基于Transformer机制的深度神经网络算法，详细信息，请参见 TFT论文。时序异常检测 esd 达摩院自研算法，适用于尖刺型异常（例如监控曲线出现尖刺的现象），对于数据点中有少量显著离群点的...
EasyCkpt：AI大模型高性能状态保存恢复
通过采用异步化层次化保存、重叠模型拷贝和计算、网络感知异步存储的策略，EasyCkpt实现了近0开销的模型保存机制和大模型训练全过程精度无损的模型保存与恢复的能力。EasyCkpt已经支持当前流行的两种大模型训练框架Megatron和DeepSpeed，您...
使用AMD CPU实例部署通义千问Qwen-7B-Chat
ZenDNN运行库包括为AMD CPU架构优化的基本神经网络构建块的API，使深度学习应用程序和框架开发人员能够提高AMD CPU上的深度学习推理性能。wget ...
LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
模型仓库（FastNN）
PAI模型仓库FastNN（Fast Neural Networks）是一个基于PAISoar的分布式神经网络仓库。目前FastNN已经支持了Inception、Resnet、VGG等经典算法，后续会逐步开放更多的先进模型。目前FastNN已经内置于 Designer 平台中，并且可以直接在该平台...
云原生AI套件概述
异构计算集群概述 开启集群GPU监控 共享GPU调度概述 AI任务调度 多种调度策略支持：针对AI分布式训练等典型批量任务类型，ACK调度器扩展Kubernetes原生调度框架，支持实现多种典型批量调度策略，包括Gang Scheduling（Coscheduling）、FIFO...
注册集群概述
AI训练：支持拓扑感知和丰富的任务调度策略，提示训练效率。通过存算分离架构，大幅提升分布式数据训练速度。支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源...
ACK One概述
AI训练：支持拓扑感知和丰富的任务调度策略，提示训练效率。通过存算分离架构，大幅提升分布式数据训练速度。支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
通义灵码介绍
产品优势 跨文件感知让代码生成更贴合业务场景：客户端和模型层同步优化针对代码跨文件上下文感知能力，生成代码更加贴合当前代码库的业务场景。阿里云服务使用场景友好：专门针对阿里云的云服务使用、SDK/OpenAPI 的使用等场景调优，编码...
计算资源优化
使用Initializer回调，函数计算会异步调用初始化接口，消除掉代码初始化的时间，在函数计算系统升级或者函数更新过程中，您对冷启动无感知。在实际应用过程中，用户侧的冷启动一般难以消除。例如，在深度学习推理中，要加载大量的模型文件...
历史功能发布记录（2021年）
全部 使用网络策略Network Policy Terway Hubble上线应用目录 支持在ACK集群中部署Terway Hubble，可以将容器网络流量、网络策略进行可视化展示，从而实现网络架构、业务拓扑关系的可观测性。全部 使用ACKTerway和CiliumHubble实现网络可...
EasyCKPT高性能CKPT发布
新增功能/规格 PAI-EasyCKPT是为PyTorch大模型训练场景而开发的高性能Checkpoint框架，通过异步化层次化保存、重叠模型拷贝和计算、网络感知异步存储的策略，实现近0开销的模型保存机制和大模型训练全过程精度无损的模型保存与恢复的能力。...
视频分类训练
算法简介 视频分类模块提供主流的3D卷积神经网络和Transformer模型用于视频分类任务的训练，目前已经支持的模型包括X3D系列的X3D-XS、X3D-M及X3D-L和Transformer模型的swin-t、swin-s、swin-b、swin-t-bert，其中swin-t-bert支持视频加文本...
使用前须知
您可以将网络质量分析器的SDK插件集成到App中，实时感知所有App真实用户在线情况、访问互联网的网络质量情况。网络质量分析器提供从在线终端设备发起到您目标服务器的网络质量探测分析，帮助终端用户进行网络问题排查诊断。应用场景 全局...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
管理工作空间
开启GPU GPU资源支持在Designer（原Studio）的音视觉文本等感知类训练场景中使用，具体操作步骤如下。在 工作空间资源配置 面板中，单击 MaxCompute资源 页签。单击已关联资源组 操作 列下的 编辑。在 资源配置 对话框中，将 GPU 参数配置...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
基于CEN-TR实现企业级云上互联
本方案基于云企业网CEN及转发路由器TR帮客户实现云上网络架构设计及云上内部网络互通，实现合理的云上网络分区设计、简单的运维管理及灵活的弹性扩展。方案概述 随着云计算的普及，越来越多的传统企业客户也在选择把云下的业务系统搬到云上...
CPU拓扑感知调度
重要 请不要使用 nodeName 字段，该方式将无法进入调度器逻辑使用CPU拓扑感知调度。使用CPU拓扑感知调度 激活CPU拓扑感知调度前，您需要在提交Pod时设置 annotations 和 Containers 的值。具体操作步骤如下：在Deployment对象的 template....
- 产品推荐
- 这些文档可能帮助您