PAI-TF概述
背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种神经网络模型，对语音、图像及文本等领域的模型训练效率极佳。TensorFlow的功能丰富且强大，并拥有高度灵活的API，受到业界的高度关注。PAI-TF是人工智能平台...
2022-09-19版本
作业状态集管理 SQL作业启动 JAR作业启动 Python作业启动 作业停止 定时调优 定时调优功能针对业务上有明显波峰波谷的Flink作业，对于这类作业我们支持用户在平台设置好自定义的定时策略，在用户需要的时间将作业自动调整到用户预先设定好...
人工神经网络
本文为您介绍人工神经网络组件。功能说明 人工神经网络组件支持使用人工神经网络算法对分类或回归问题进行建模。人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
Quota调度策略说明
可能存在一个大作业占用绝大部分资源，导致同Quota组其他作业一直处于排队等待被编译状态。说明 可通过查看logview确认作业运行状态，若子状态为 Waiting for cluster resource，则表示作业排队等待被编译。可通过设置单作业CU上限降低此...
EAS一键部署通义千问大模型服务
PAI-EAS一键部署开源大模型通义千问。适用客户 模型服务/AI推理业务的客户。新增功能/规格 通过PAI-EAS一键部署基于开源模型通义千问的WebUI应用，以及使用WebUI和API进行模型推理。通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型...
ListInstancesByNcd-通过网络通信距离筛选实例
lni SourceInstanceId string 源实例 ID lni-1234*InstanceInfos object[]与源实例 ID 间网络通信距离不超过 maxNcd 的实例集合 InstanceId string 实例 ID lni-1235*Ncd integer 网络通信距离 2 示例 正常返回示例 JSON 格式 {"Code":0,...
作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
数据类型
Active：表示管道内的作业会被调度给转码系统转码，Paused：表示管道暂停，作业不再会被调度到转码系统，管道内的所有作业状态维持在已提交状态，正在执行的作业不受影响，继续进行。NotifyConfig String MNS通知配置。AliyunMediaInfoJob ...
常见问题
您可以根据以下步骤，通过DataFlow集群外的机器，提交作业到DataFlow集群：确保DataFlow集群和DataFlow集群外的机器网络互通。配置提交Flink作业的客户端的Hadoop YARN环境。DataFlow集群中的Hadoop YARN的软件安装目录是/opt/apps/YARN/...
基于二部图GraphSAGE算法实现推荐召回
背景信息 图神经网络是深度学习的热点发展方向，PAI开源Graph-Learn框架，提供大量图学习算法。二部图GraphSAGE是经典的图神经网络算法，而GraphSAGE为二部图场景扩展，被用于淘宝的推荐召回场景。在二部图场景下，可以将User和Item作为图...
灵骏常见问题
您使用神经网络进行的许多计算都可以很容易地分解成更小的计算，各个小计算不会相互依赖。智能计算灵骏与普通GPU托管服务有什么不同？智能计算灵骏集群采用专为大规模AI计算场景所设计的系统架构和多层性能优化技术，能充分利用整体的计算...
作业类型
作业概述 固定集群作业 优点：集群支持分布式缓存，适用大规模作业的场景；缺点：需要您花费精力管理集群资源生命周期。自动集群作业 优点：您无需花费精力管理集群，由批量计算自动管理集群生命周期；缺点：集群间无法共享分布式缓存数据...
作业编辑
Spark-Submit内存消耗大，作业过多会造成Header节点资源紧张，导致整个集群不稳定。在Worker节点提交 Spark-Submit进程运行在Worker节点上，占用YARN的一个Container，受YARN监控。此模式可以缓解Header节点的资源使用。在E-MapReduce集群...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
PAI发布基于Quota队列的4大调度策略功能
发布智能、遍历、均衡、FIFO 4大调度策略，提升客户AI算力利用效率 适用客户 拥有大规模AI算力资源的用户，人工智能、大模型、AIGC创业者，互联网AI业务等企业客户。新增功能/规格 PAI资源配额（Quota）代表了一组AI算力资源，基于PAI资源...
Word2Vec
Word2Vec算法组件利用神经网络，通过训练，将词映射为K维度空间向量，且支持对表示词的向量进行操作并和语义相对应。输入为单词列或词汇表，输出为词向量表和词汇表。使用说明 Word2Vec组件的上游需要接入 词频统计 组件。说明 词频统计的...
什么是弹性高性能计算E-HPC
弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
配置自动调优
作业某VERTEX节点连续6分钟实际处理数据时间占比超过80%，调大作业并发度使得SLOT使用率降低到50%，但不超过设置最大的资源（默认为64 CU）。所有TM的平均利用率连续6分钟超过80%，调高并发度使TM的CPU使用率降低到50%。所有TM的最大CPU...
监控与报警
网络接收数据量（作业维度）指定作业的网络接收数据量（MB）。网络发送数据量（作业维度）指定作业的网络发送数据量（MB）。GPU算力使用率（作业维度）指定作业的GPU算力使用率。GPU显存使用率（作业维度）指定作业的GPU显存使用率。GPU SM...
2022-03-04版本
企业级状态后端存储介绍 企业级状态后端存储配置 系统检查点或作业快照的超时与失败 性能优化 企业级状态存储后端在本次新版本中包含了大量优化，极大提升了双流或多流Join作业的性能，计算资源利用率平均可以提升50%，典型场景下可以提升...
产品架构
如上图所示，PAI的业务架构分为以下四层：基础资源层（计算资源&基础设施）：基础设施包括CPU、GPU、高速RDMA网络以及容器服务ACK等。计算资源包括云原生资源（灵骏计算资源和通用计算资源）和大数据引擎资源（MaxCompute和Flink）。平台...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
最大连通子图
该算法常用于网络分析、图像处理等领域。它通过深度优先搜索（DFS）或广度优先搜索（BFS）来遍历图，识别所有连通组件，再从中找出包含节点最多的子图。配置组件 方法一：可视化方式 在Designer工作流页面添加 最大连通子图 组件，并在界面...
计算费用（按量付费）
计费公式 类型 价格 说明 示例 MapReduce作业当日计算费用=当日总计算时×单价 一个执行成功的MapReduce作业计算时=作业运行时间（小时）×作业调用的Core数量 标准MapReduce作业（指使用按量付费标准版计算配额的MapReduce作业）一般情况...
SQL作业开发
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。可选：单击 调试。您可以使用作业调试功能模拟作业运行、检查输出结果，...
点聚类系数
算法说明 在无向图中，点聚类系数表示计算每一个节点周围的稠密度，星状网络稠密度为0，全连通网络稠密度为1。配置组件 方法一：可视化方式 在Designer工作流页面添加 点聚类系数 组件，并在界面右侧配置相关参数：参数类型 参数 描述 字段...
Flink SQL作业快速入门
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。（可选）步骤五：进行作业调试 在作业开发页面顶部，单击 调试。您可以...
Modularity
模块度（Modularity）是一种评估社区网络结构的指标，用来评估社区内部连接相对于社区之间连接的紧密程度，通常模块度为0.3以上表示社区划分质量较为合适。Modularity组件能够输出图的模块度。配置组件 方法一：可视化方式 在Designer工作...
PageRank
例如，在新浪微博中，一个用户对其粉丝群体的影响力会受到和粉丝之间关系密切程度的影响，与用户关系较亲近的家人、同学、同事等通常会受到更大的影响。在这种人际网络模型中，边的权重反映了用户之间关系的亲密程度，被视作关系强度的指标...
媒体审核概述
视频点播提供了支持视频、音频、图片、文本等全方位的媒体审核服务，可帮助用户发现媒体资源中的暴恐、涉政、涉黄、广告、辱骂、不良场景等风险内容或元素，降低人工审核成本，提升内容质量，改善平台秩序和用户体验。本文为您介绍视频点播...
网络架构升级
升级目的 优化IP资源的使用效率：大幅度减少您的交换机IP数的占用，IP数占用从作业JM/TM个数粒度（每个Flink作业的每个JM/TM都会占用一个IP）减少到工作空间粒度（内部架构占用2-3个IP)。加强网络安全隔离措施：进一步增加您的VPC内网络...
作业状态集管理
从（其他作业）指定快照恢复作业 配置作业快照自动清理规则 如果您需要系统可以自动清理作业快照，不再人工手动删除快照，则可以配置作业快照保存个数或是保存时间信息。保存该规则后，作业运行过程中，系统会根据此规则自动清理快照。说明...
功能特性
同时，通过大规模RDMA网络部署实践，阿里云自主研发了基于端网协同的RDMA高性能网络协议和HPCC拥塞控制算法，并通过智能网卡实现了协议硬件卸载，降低了端到端网络延时，提升了网络IO吞吐能力，并有效规避和弱化了网络故障、网络黑洞等传统...
Spark FAQ
此时需要增加作业的资源总量，调大spark.executor.instances参数，或者调大Executor规格（spark.executor.resourceSpec）。最好不要超过同时运行的Stage的Tasks总数，否则会导致资源浪费。4.查看是否由GC导致。查看方式：单击展开对应作业...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
PAI灵骏智算服务概述
阿里巴巴2016年开始投入专项研究RDMA（Remote Direct Memory Access），目前已建成大规模数据中心内的“高速网”，通过大规模RDMA网络部署实践，阿里云自主研发了基于端网协同的RDMA高性能网络协议和HPCC拥塞控制算法，并通过智能网卡实现...
什么是人工智能平台PAI
阿里云人工智能平台PAI（Platform For AI），提供一站式的机器学习解决方案。本文为您介绍什么是人工智能平台PAI。什么是机器学习 机器学习是一门多学科交叉专业，涵盖概率论知识、统计学知识、近似理论知识和复杂算法知识，它使用计算机...
- 产品推荐
- 这些文档可能帮助您