概述
同时助力SQL从业人员利用现有的SQL技能就可以应用机器学习，无需做数据迁移，实现机器学习的能力。使用说明 MaxCompute SQLML功能的使用流程如下：开通MaxCompute、DataWorks（基础版）及 人工智能平台 PAI 服务（PAI（Studio、DSW、EAS）...
高级功能：全局变量
在PAI工作流中配置的全局变量值仅用于在线运行工作流使用，离线调度时会使用调度中配置的参数值替换运行。本示例以以下工作流为例，源数据包括两个分区的数据。准备源数据。配置全局变量。具体步骤请参见 示例1：工作流内组件公用参数。本...
离线模型（OfflineModel）相关组件
离线模型（OfflineModel）是存储在MaxCompute中的一种数据结构，基于PAICommand框架的传统机器学习算法生成的模型会以离线模型格式存储在对应的MaxComute项目中，您可以使用离线模型相关组件获取离线模型做离线预测。本文为您介绍离线模型...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
如何在调度任务中自动同步PAI模型至OSS
使用DataWorks实现Designer工作流的离线调度。具体操作，请参见 使用DataWorks离线调度Designer工作流。如果您希望每次执行调度任务后，均生成一个不同名称的非临时模型文件，可以使用全局变量并结合定时调度参数来实现，具体请参见 高级...
机器学习系统权限策略参考
本策略定义了管理机器学习平台（PAI）模型在线服务（EAS）的权限。查看策略详情 AliyunPAIEASReadOnlyAccess 您可以将 AliyunPAIEASReadOnlyAccess 策略授权给RAM身份。本策略定义了只读访问机器学习平台（PAI）模型在线服务（EAS）的权限...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
使用DataWorks离线调度Designer工作流
离线调度功能是机器学习的常见场景，您需要通过离线调度功能周期性地更新模型，帮助您构建模型训练的Pipeline。PAI Designer支持与DataWorks互通，实现PAI Designer工作流的周期性调度。本文为您介绍如何使用DataWorks实现PAI Designer工作...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
创建标签项目
在机器学习平台中，创建可视化建模的工作空间时，资源选择为基于MaxCompute的计算资源组，详情请参见 资源管理概述。如果您开启了机器学习，需要配置以下参数。PAI地域：选择和Dataphin实例所在地域。AccessKey ID、AccessKey Secret：配置...
创建并使用PAI Studio节点
机器学习节点用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。前提条件 您需要在机器学习平台创建机器学习实验后，才可以在DataWorks中进行添加。本文以心脏病预测案例实验为例，为您介绍如何加载机器学习实验至...
新建BLINK_SQL任务
离线模式（Bate）调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。您可以通过调度配置中调度属性，配置任务调度周期与生效日期等。配置说明，请参见 离线模式调度配置。资源配置（必选）：配置任务对应的资源队列及引擎...
新建BLINK_SQL任务
离线模式（Bate）调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。您可以通过调度配置中调度属性，配置任务调度周期与生效日期等。配置说明，请参见 离线模式调度配置。资源配置（必选）：配置任务对应的资源队列及引擎...
新建Flink_SQL任务
离线模式（Beta）调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。您可以通过调度配置中调度属性，配置任务调度周期与生效日期等。配置说明，请参见 离线模式调度配置。资源配置（必选）：配置任务生产环境和开发环境...
新建FLINK_SQL任务
离线模式（Bate）调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。您可以通过调度配置中调度属性，配置任务调度周期与生效日期等。配置说明，请参见 离线模式调度配置。资源配置（必选）：配置任务生产环境和开发环境...
新建FLINK_SQL任务
离线模式（Bate）调度配置（必选）：调度配置用于定义节点在生产环境的周期调度方式。您可以通过调度配置中调度属性，配置任务调度周期与生效日期等。配置说明，请参见 离线模式调度配置。资源配置（必选）：配置任务生产环境和开发环境...
集成任务提交说明
更多信息，请参见 配置离线管道调度。运行参数 运行参数配置是对集成任务中所用的变量进行赋值，从而支持节点调度，参数变量可以自动被替换为相应的变量值。更多信息，请参见 配置离线管道运行参数。跨节点参数 透传给本对象节点直接下游...
新建FLINK_SQL任务
开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory和Task Manager ...
用户交流
阿里云机器学习平台以社区化的方式进行用户运营，会经常举行用户活动，同时为企业级用户提供高效支持。如果您在产品使用过程中遇到问题，请通过工单系统和机器学习平台内部的问答机器人解决。用户交流群主要用来进行机器学习算法心得交流及...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
集成任务提交说明
更多信息，请参见 配置离线管道调度依赖。运行参数 运行参数配置是对集成任务中所用的变量进行赋值，从而支持节点调度，参数变量可以自动被替换为相应的变量值。更多信息，请参见 配置离线管道运行参数。跨节点参数 透传给本对象节点直接...
离线调度
背景信息 本工作流流程如下：通过历史数据，在阿里云机器学习平台上进行模型训练。通过大数据开发套件对模型进行调度。每天凌晨对广告投放进行CTR预测，甄选出符合标准的广告进行推送。本工作流数据集是通过Random算法随机生成的，因此不对...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
配置离线管道调度依赖
本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度依赖 参数。上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将根据集成任务自动解析...
配置离线管道调度依赖
本文为您介绍周期离线管道调度依赖配置说明。操作步骤 请参见 离线集成任务属性入口，进入离线集成任务 属性 面板。在 调度依赖 区域，配置集成任务 调度依赖 参数。上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将...
如何指定标签
同一个应用分组下的机器，部分机器可能要用于灰度或者压测，任务实现类和线上其他机器不一致。任务调度时，机器被随机分配，所以灰度任务被分配到正常机器时，可能无法找到实现类。传统解决方案 传统解决方案下，往往会创建多个应用分组，...
模型预测概述
本文为您介绍在Designer训练得到模型后，如何进行生产化部署以对新数据进行预测。部署模型主要是为了使用模型来进行新数据的预测。...并支持将预测工作流提交到DataWorks进行周期性调度，实现定时自动预测，详情请参见 离线批量预测。
查看及管理离线集成任务列表
离线集成任务列表是指在Dataphin创建的离线集成任务集合。在Dataphin的离线集成任务列表为您展示了离线集成任务的基本信息及相关管理操作选项，方便您查看创建的离线集成任务并进行管理。本文为您介绍离线集成任务列表支持的管理功能。离线...
查看及管理离线集成任务列表
离线集成任务列表是指在Dataphin创建的离线集成任务集合。在Dataphin的离线集成任务列表为您展示了离线集成任务的基本信息及相关管理操作选项，方便您查看创建的离线集成任务并进行管理。本文为您介绍离线集成任务列表支持的管理功能。离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
创建及管理标签离线服务任务
③ 标签离线服务列表 标签离线服务页面以列表形式为您展示创建的标签离线服务，包括 任务名、负责人、应用名、实体、实体ID、任务状态、执行状态、标签、目标源类型、目标表、调度类型、创建时间 以及支持的 操作。标签离线服务支持的管理...
- 产品推荐
- 这些文档可能帮助您