功能简介

支持在开发场景中新建计算节点,配置计算节点的各类参数及离线计算节点的调度信息。支持在开发场景中新建系统节点,并配置系统节点的配置信息。支持通过可视化方式配置上下游计算节点的依赖关系,并配置输入、输出参数的对应关系。支持根据...

功能简介

支持在开发场景中新建计算节点,配置计算节点的各类参数及离线计算节点的调度信息。支持在开发场景中新建系统节点,并配置系统节点的配置信息。支持通过可视化方式配置上下游计算节点的依赖关系,并配置输入、输出参数的对应关系。支持根据...

数据开发

支持在开发环境场景中新建计算节点,配置计算节点的各类参数及离线计算节点的调度信息。支持在开发环境场景中新建系统节点,并配置系统节点的配置信息。支持通过可视化方式配置上下游计算节点的依赖关系,并配置输入、输出参数的对应关系。...

新建MAX_COMPUTE_SQL任务

本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理,生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认进入 开发 页面...

新建MAX_COMPUTE_SQL任务

本文为您介绍在离线计算引擎MaxCompute下如何创建MAX_COMPUTE_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理,生成符合业务场景需求的数据场景。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认进入 开发 页面...

新建HOLOGRES_SQL任务

本文为您介绍在绑定了Hologres离线计算引擎的项目下如何创建HOLOGRES_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理,生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页,单击顶部菜单栏的 研发。在数据 开发 ...

新建MAX_COMPUTE_MR任务

本文为您介绍如何基于Dataphin构建MapReduce类型的离线计算任务。前提条件 完成JAR资源包的上传,详情请参见 上传资源及引用。背景信息 MapReduce任务中引用到的JAR资源包需提前创建,因此需要您在资源管理中上传JAR资源包,然后在...

新建HADOOP_MR任务

本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引,进入 新建HADOOP_MR任务 页面。编写并运行代码。在 新建HADOOP_MR任务 对话框...

新建MAX_COMPUTE_MR任务

本文为您介绍如何基于Dataphin构建MapReduce类型的离线计算任务。前提条件 完成JAR资源包的上传,详情请参见 上传资源及引用。背景信息 MapReduce任务中引用到的JAR资源包需提前创建,因此需要您在资源管理中上传JAR资源包,然后在...

计算任务运行配置

您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略,杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 线...

新建SHELL任务

本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 在Dataphin首页,单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引,进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框,配置参数...

新建IMPALA_SQL任务

本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作,请参见 创建Hadoop计算源。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认进入 开发 ...

新建STARROCKS_SQL任务

本文为您介绍基于STARROCKS离线计算引擎如何新建STARROCKS_SQL任务。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认进入开发页面。按照下图操作指引,进入 新建STARROCKS_SQL任务 页面。编写并运行代码。在 新建STARROCKS_SQL...

新建HIVE_SQL任务

本文为您介绍如何基于Dataphin构建HIVE_SQL类型的离线计算任务。背景信息 HIVE_SQL计算任务适用于对已有数据进行加工处理,生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认进入 开发 页面。...

新建SHELL任务

本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤 请参见 数据开发入口,进入数据 开发 页面。按照下图操作指引,进入 新建SHELL任务 对话框。编写并运行代码。在 新建SHELL任务 对话框,配置参数。参数 描述 任务名称 ...

新建SPARK_JAR_ON_HIVE任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见 计算任务运行配置。资源配置:您可为当前计算任务配置调度资源组,计算任务调度时将...

新建SPARK_SQL任务

本文为您介绍如何基于Dataphin构建Spark SQL任务类型的离线计算任务。前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息,请参见 创建Hadoop计算源。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认...

离线模式运行参数配置

不同计算引擎配置离线模式运行参数的操作路径相同,下图以配置Ververica Flink计算引擎的离线任务运行参数为例。说明 若您项目中所有计算任务均需配置同一的任务参数,您可在新建项目时进行全局的统一配置。详情请参见 创建通用项目。BLINK...

新建SPARK_JAR_ON_MAX_COMPUTE任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见 计算任务运行配置。在代码编写页面,保存并提交SQL任务。单击页面上的 图标,保存...

新建SPARK_JAR_ON_MAX_COMPUTE任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见 计算任务运行配置。资源配置:您可为当前计算任务配置调度资源组,计算任务调度时将...

离线模式运行参数配置

不同计算引擎配置离线模式运行参数的操作路径相同,下图以配置Ververica Flink计算引擎的离线任务运行参数为例。说明 Fusioninsight引擎不支持自定义参数,仅支持系统默认自带的参数。若您项目中所有计算任务均需配置同一的任务参数,您可...

新建ADB_PG_SQL任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见 计算任务运行配置。资源配置:您可为当前计算任务配置调度资源组,计算任务调度时将...

新建VIRTUAL任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见 计算任务运行配置。在代码编写页面,保存并提交SQL任务。单击页面上的 图标,保存...

新建VIRTUAL任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见 计算任务运行配置。资源配置:您可为当前计算任务配置调度资源组,计算任务调度时将...

新建PAI_DESIGNER任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见 计算任务运行配置。单击 确定。在工作流面板页面,保存并提交PAI_DESIGNER任务。...

创建PYTHON计算任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见:计算任务运行配置。在代码编写页面,保存并提交SQL任务。单击页面上的 图标,保存...

新建PAI_DESIGNER任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见 计算任务运行配置。资源配置:您可为当前计算任务配置调度资源组,计算任务调度时将...

创建PYTHON计算任务

运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明,请参见:计算任务运行配置。资源配置:您可为当前计算任务配置所属资源组,计算任务运行时...

新建离线计算模板

背景信息 当多个任务的代码逻辑相似,只有部分配置项或输入参数不同时,您可以将代码写入到离线计算模板中,并将不同的配置项和输入参数定义为模板变量参数。后续任务引用了该离线计算模板后,可以给离线计算模板中的模板变量参数赋值,以...

新建离线计算模板

背景信息 当多个任务的代码逻辑相似,只有部分配置项或输入参数不同时,您可以将代码写入到离线计算模板中,并将不同的配置项和输入参数定义为模板变量参数。后续任务引用了该离线计算模板后,可以给离线计算模板中的模板变量参数赋值,以...

计算设置概述

修改离线计算引擎设置,系统将同步修改计算源配置。为了保证修改效率,系统在修改过程中不会对计算源的连通性进行校验,请谨慎确认配置的正确性,配置错误可能导致任务失败。修改完成后,建议对计算源进行手动连通性测试。修改计算设置后,...

产品限制

版本v20150630:BatchCompute 使用共享资源池支持大规模离线计算,计算任务可能需要排队等待。计算节点暂不支持公网访问。

查看离线计算任务详情

离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务,运维监控支持查看离线计算任务详情,包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角,...

查看离线计算任务详情

离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务,运维监控支持查看离线计算任务详情,包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录企业数据智能平台。在页面左上角,单击 ...

计算设置概述

修改离线计算引擎设置,系统将同步修改计算源配置。为了保证修改效率,系统在修改过程中不会对计算源的连通性进行校验,请谨慎确认配置的正确性,配置错误可能导致任务失败。修改完成后,建议对计算源进行手动连通性测试。修改计算设置后,...

离线集成概述

离线集成支持多种组件,包括输入、输出与转换组件等,通过在画布上简单的拖拽、配置并组装的方式,生成离线集成单条管道。离线集成也支持脚本模式,支持更多个性化配置。同时,用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...

使用DataWorks(离线与实时)

离线同步 实时同步 同步解决方案 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/整库全增量实时写-说明 离线导入场景中,每个离线同步节点仅支持将单张或多张表数据导入至...

数据传输作业:数据集成

配置离线同步任务请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。注意事项 离线同步仅支持单表或分库分表数据离线同步至MaxCompute单表。在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute...

离线任务属性配置概述

注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是两个节点之间的先后运行顺序关系,同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,才能...

概述

使用限制 MaxCompute Spark支持如下场景:离线计算场景,例如GraphX、Mllib、RDD、Spark-SQL、PySpark等。读写MaxCompute Table。引用MaxCompute中的文件资源。读写VPC环境下的服务。例如,RDS、Redis、HBase、ECS上部署的服务等。读写OSS...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
函数计算(旧版) 轻量应用服务器 云服务器 ECS 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用