ECS选型最佳实践
i4g、i4、d3c 离线计算 Hadoop HDFS CDH 优先选择d系列。d3s、d3c 视频转码 点播 直播 CPU计算能力：要求高 内存：要求不高 IO：要求不高 c8y、hfc8i 大数据 Spark Hive CPU计算能力：要求高 内存：内存带宽要求高 IO：存储带宽要求高 g8y...
计算源概述
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
新建HADOOP_MR任务
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建HADOOP_MR任务 页面。编写并运行代码。在 新建HADOOP_MR任务 对话框...
新建IMPALA_SQL任务
本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 ...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
标记离线计算实例
对执行失败或异常的离线计算实例标记后，实例的状态会标记为成功，方便对实例进行筛选。本文主要介绍如何标记离线计算实例。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
标记离线计算实例
对执行失败或异常的离线计算实例标记后，实例的状态会标记为成功，方便对实例进行筛选。本文主要介绍如何标记离线计算实例。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
重跑离线计算实例
在任务中心，您可以重跑离线计算实例，重新运行离线任务。本文主要介绍如何重跑离线计算实例。背景信息 只有全量任务支持重跑，增量任务不支持。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，...
新建离线计算模板
Dataphin支持创建离线计算模板。后续在开发任务时，可以引用创建的离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。背景信息 当多个任务的代码逻辑相似，只有部分配置项或输入参数不同时，您可以将代码...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
查看离线计算实例详情
离线计算实例是由智能标签、表加工、质量评估、数据加工等业务产生的任务实例，运维监控支持查看离线计算任务实例的详情，包括实例信息、任务代码、实例日志。本文介绍查看离线计算实例详情。操作步骤 登录企业数据智能平台。在页面左上角...
查看离线计算实例详情
离线计算实例是由智能标签、表加工、质量评估、数据加工等业务产生的任务实例，运维监控支持查看离线计算任务实例的详情，包括实例信息、任务代码、实例日志。本文介绍查看离线计算实例详情。操作步骤 登录 数据资源平台控制台。在页面左上...
任务中心
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
概述
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
概述
离线任务 支持查看离线计算任务的属性信息，查看离线同步实例、离线计算实例的属性与运行日志。离线同步实例：支持以列表的方式展示离线同步实例信息，并提供离线同步实例属性与运行日志查看；可进行实例重跑的功能。离线计算任务：支持以...
产品限制
版本v20150630：BatchCompute 使用共享资源池支持大规模离线计算，计算任务可能需要排队等待。计算节点暂不支持公网访问。
计算设置概述
设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。租户开启 实时研发 模块后，系统将根据 离线计算引擎 选择进行...
概述
Tunnel主要用于批量上传数据至离线表，适用于离线计算的场景。DataHub DataHub数据迁移功能通过Connector实现。DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便...
CDM接口数据层设计规范
统计时间周期范围和数据域说明如下：关于统计时间周期范围缩写，默认情况下，离线计算包括最近一天（1d）、最近N天（nd）和历史截至当天（td）三个表。说明 如果出现 nd 的表字段过多，需要拆分时，只允许以一个统计周期单元作为原子拆分，...
查询并下载数据
通过即席查询您可以根据当前的...附录：切换 任务类型 项目的离线引擎为Hadoop计算源且已开启Impala任务。支持IMPALA_SQL任务类型和HIVE_SQL任务类型的互相切换。按照下图操作指引，选择需要切换类型任务。单击 确定，即可完成任务类型切换。
技术架构选型
在数据模型设计之前，您需要首先完成技术...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。icmsDocProps={'productMethod':'created','language':'zh-CN',};
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
功能简介
支持流式计算、批量离线计算等多种类型的计算节点在一个工作流中统一编排。支持同一租户内，不同工作组、不同场景间的全局任务依赖和统一调度。提供可视化操作界面，通过拖拉拽的方式连接计算节点迅速实现数据加工流程编辑，大幅提升数据...
概述
使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、PySpark等。读写MaxCompute Table。引用MaxCompute中的文件资源。读写VPC环境下的服务。例如，RDS、Redis、HBase、ECS上部署的服务等。读写OSS...
IDMapping在离线一体化解决方案
首先，配合MaxCompute数仓，基于智能运维系统，将离线计算与在线实时计算结合落地的方案。其次，提供多种业务数据查询能力，可提供向量、倒排、复杂图查询，让业务使用更灵活。最后，基于离线、在线一体化方案，可配合业务自行选择，赋能...
ECS资源复用版
客户A在MaxCompute购买了包年包月计算资源 500 CU，用于满足00:00~08:00的离线计算作业需求。客户开通ECS资源复用版后，可将CR共享至MaxCompute，并将共享时间段设置为00:00~09:00。MaxCompute将在00:00购买CR内未被占用的20台ECS实例，并...
节点类型说明
Hadoop Hadoop 离线节点，运行在Hadoop云计算资源之上，可通过输入算法语句方式处理Hive、Hbase、Phoenix和RDS MySQL类型的数据。Elastic Job Elastic Job 离线节点，运行在Elastic Job云计算资源之上，可通过输入算法语句方式处理...
新建SPARK_SQL任务
本文为您介绍如何基于Dataphin构建Spark SQL任务类型的离线计算任务。前提条件 项目的Hadoop计算源的Spark SQL服务配置已开启Spark SQL任务。更多信息，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认...
离线异步任务场景
本文介绍什么是GPU离线异步任务场景和如何使用函数计算GPU异步调用、异步有状态调用服务离线AI推理、离线AI训练、离线GPU加速场景，以及如何基于非Web Server模式的Custom Container满足离线GPU应用场景。场景介绍 在离线异步应用场景中，...
通过函数计算转存离线日志
通过阿里云的函数计算转存离线日志功能，当CDN产生新的离线日志时，它会触发预设的函数计算逻辑，自动地、无服务器地将这些日志文件传输到对象存储服务（OSS）。这样，无需人工干预或额外运维成本，就能实现日志数据的安全、高效、稳定的...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
新建离线计算模板
Dataphin支持创建离线计算模板。后续在开发任务时，可以引用创建的离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。背景信息 当多个任务的代码逻辑相似，只有部分配置项或输入参数不同时，您可以将代码...
快速入门
文件存储 HDFS 版 适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。开通 文件存储 ...
大数据型
大数据型实例规格族旨在解决大数据时代下海量业务数据的云上计算和存储难题，适用于Hadoop分布式计算、海量日志处理和大型数据仓库等需要海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务对实例存储性能、容量和...
云计算资源类型
节点模式 支持的云计算资源类型为：离线类：MaxCompute RDS MySQL Hive Hadoop Elastic Job Hologres PostgreSQL AnalyticDB PostgreSQL Spark On Yarn Spark Cluster Spatial Data Source HiveStorage 在线类：Elastic Service 流式类：...
云计算资源类型
节点模式 支持的云计算资源类型为：离线类：MaxCompute RDS MySQL Hive Hadoop Elastic Job PostgreSQL AnalyticDB PostgreSQL Spark On Yarn Spark Cluster Spatial Data Source HiveStorage 在线类：Elastic Service 流式类：Blink Blink...
- 产品推荐
- 这些文档可能帮助您