产品概述

EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统(例如,阿里云OSS和RDS等)进行数据传输。阿里云EMR提供了on ...

流程控制

条件列表 通过新增数据过滤器的方法编写过滤条件,返回结果为Boolean型。return true为满足该处理方法的条件,return false为不满足该处理方法的条件,可以添加多个数据过滤器。锚点配置面板 事件/动作参数说明 事件/动作 说明 满足 上游...

EMR Workbench

阿里云EMR Workbench是一个综合性的大数据分析和开发环境,作为阿里云E-MapReduce的一部分,它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench,您可以轻松进行数据开发,以及交互式数据分析,并设计复杂的数据处理工作...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

MaxFrame概述

背景信息 为满足用户基于MaxCompute进行规模数据处理、分析及数据挖掘的需求,MaxCompute提供了一套Python开发生态,通过统一的Python编程接口完成数据分析、处理及挖掘、建模全生命周期。MaxFrame是由阿里云自研的分布式计算框架,提供...

Iceberg概述

实时机器学习 通常在机器学习场景中,需要花费大量的时间处理数据,例如,数据清洗、转换和提取特征等,还需要对历史数据和实时数据进行处理。而Iceberg简化了工作流程,整个数据处理过程是一条完整的、可靠的实时流,其数据的清洗、转换和...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

应用场景

数据传输服务DTS(Data Transmission Service)支持数据迁移、数据订阅和数据实时同步功能,帮助您实现多种典型应用场景。不停机迁移数据库 传输方式:数据迁移 为了保证数据的一致性,传统的迁移过程需要您在迁移数据时停止向源数据库写入...

功能更新动态(2022年之前)

实时数据处理 数据集成 致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成 告警中心 为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。告警中心 资产质量 为您提供全链路...

文档更新动态(2022年之前)

通用功能 设置Dataphin实例的计算引擎 2020-04-09 计算源 功能拓展 计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。通用功能 计算源 2020-04-09 业务板块 功能拓展 创建业务板块时,支持设定板块管理员,帮助您...

数据处理

本文介绍在蓝图编辑器中,配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点,是使用串行方式来处理一个事件。使用场景:例如,小数0.835要转换成整数百分比83%,可经过:单位转换(83.5)->取整(83)->添加字符串后缀(83%...

产品简介

EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统(例如,阿里云OSS和RDS等)进行数据传输。产品介绍 阿里云EMR...

影响查询性能的因素

如果数据能够均匀分布在存储节点上,那么 AnalyticDB MySQL版 中的多个子任务在处理数据时,就能几乎同时结束任务,实现理想的查询处理;如果数据分布不均匀,那么子任务在处理数据时会存在时间上的长尾,从而影响最终的查询效果。数据量...

Delta Lake概述

实时机器学习:在机器学习场景中,通常需要花费大量的时间用于处理数据,例如数据清洗、转换、提取特征等等。同时,您还需要对历史和实时数据分别处理。而Delta简化了工作流程,整条数据处理过程是一条完整的、可靠的实时流,其数据的清洗...

实现传递动态参数

本文为您介绍,如何在请求数据接口时传递动态参数,实现 Tab列表 和基础平面地图下的 区域热力层 联动。效果展示 操作步骤 登录 DataV...配置串行数据处理节点的处理方法。return data.content;单击页面右上角的 预览 图标,预览展示结果。

实现时间戳联动

配置串行数据处理节点的处理方法。return { start_time:new Date(data.time).valueOf()-60*1000,/当前时间前 60s end_time:new Date(data.time).valueOf()/当前时间 } 原理:时间器 组件在设置了定时触发后,每3s会抛出一次 当时间变化时 ...

Transaction Table2.0概述

现状分析 当前典型的数据处理业务场景中,对于时效性要求低的规模数据全量批处理的单一场景,直接使用MaxCompute足以很好的满足业务需求,对于时效性要求很高的秒级实时数据处理或者流处理,则需要使用实时系统或流系统来满足需求。...

应用场景

处理意味着每一次处理数据量很,而且有很多张大表要做关联,经常要做一些比较复杂的查询,并且更新量也比较,使得传统的集中式数据库,出现了单点瓶颈,垂直扩容成本非常高,几乎不可接受。OceanBase 数据库的 SQL 引擎在经过了近 ...

MapReduce

MapReduce处理数据的完整流程如下:输入数据:对文本进行分片,将每片内的数据作为单个Map Worker的输入。分片完毕后,多个Map Worker便可以同时工作。在正式执行Map前,需要将输入数据进行分片。所谓分片,就是将输入数据切分为大小相等的...

什么是ETL

数据传输服务DTS提供的流式数据ETL(Extract Transform Load)功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换和加工、数据...

流式ETL

数据传输服务DTS提供的流式数据ETL(Extract Transform Load)功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换和加工、数据...

配置跨库Spark SQL节点

使用限制 Spark SQL任务节点基于Spark计算引擎运行,单个任务单次处理数据时不要超过200万条,否则可能影响任务运行效率。因计算资源有限,任务运行高峰期无法保证计算时效。系统在计算数据量过且缺失主键的表时,会导致内存溢出或内存...

如何处理Tair集群数据倾斜

每个数据分片节点2个Key,但仍产生了数据倾斜:Replica 1 节点中 key1 的QPS明显高于其他Key,属于典型的 数据访问倾斜,会导致该Key所在的数据分片节点CPU使用率、带宽使用率升高,从而影响该分片上所有Key的处理。Replica 2 节点中 key5 ...

如何处理Redis集群数据倾斜

每个数据分片节点2个Key,但仍产生了数据倾斜:Replica 1 节点中 key1 的QPS明显高于其他Key,属于典型的 数据访问倾斜,会导致该Key所在的数据分片节点CPU使用率、带宽使用率升高,从而影响该分片上所有Key的处理。Replica 2 节点中 key5 ...

DataWorks On CDP/CDH使用说明

二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步,沉淀阿里巴巴数据中台建模方法论,从数仓规划、数据标准、维度建模、数据指标四个方面,以业务视角对业务的数据进行诠释,让企业内部实现“数同文”的...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

功能简介

数据处理 支持倾斜数据处理能力,可以将OSGB格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

空间数据(邀测中)

数据处理 支持倾斜数据处理能力,可以将OSGD格式数据转化为S3M数据,再将处理后的数据添加到数据管理中,以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情,包括任务的基本信息、处理的...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

操作流程

写SQL语句 通过写算法语句或者引用自定义函数处理数据。具体操作,请参见 方式一:输入算法语句。上传资源文件 通过上传脚本来处理数据。具体操作,请参见 方式二:上传节点资源文件并输入对应脚本。设置运行配置参数 通过对计算节点中的...

配置资产数据

本文档介绍配置资产数据的方法,以及资产数据面板的内容,包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面,单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面,单击 图层...

概述

查询冷数据 对普通表和分区表执行冷数据归档操作后,您可以通过以下方法查询归档后的冷数据:普通表:执行冷数据归档后,查询冷数据的方法和查询热数据的方法一致,不需要修改访问方式。分区表:执行冷数据归档后,查询冷数据的操作方法请...

使用场景

包含但不限于如下场景:数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务,将数据从一个数据源迁移到另一个数据源,或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...

LogHub(SLS)实时ETL同步至Hologres

数据输出预览 窗口,您可以根据需要修改输入数据,或单击 手工构造数据 按钮自定义输入数据,再单击 预览 按钮,查看当前数据处理节点对数据的处理结果,当数据处理节点对输入数据处理异常,或产生脏数据时,也会反馈出异常信息,能够...

通过HTTP接口清除实例数据

当图数据库GDB实例中的数据不再使用但需要保留该实例时,您可以通过调用HTTP接口(controller/engine/dropAllData)的方法清除实例中的数据。本文介绍通过HTTP接口清除图数据库GDB实例数据的方法。注意事项 清除实例数据后仅保留实例账号...

Oracle同步至Tablestore

数据输出预览 窗口,您可以根据需要修改输入数据,或者单击 手工构造数据 按钮自定义输入数据,然后单击 预览 按钮,查看当前数据处理节点对数据的处理结果,当数据处理节点处理异常,或者产生脏数据时,也会实时反馈异常信息,能够帮助...

Slowly Changing Dimension

步骤二:处理数据 您可以根据业务数据的情况,选择使用流式写入或者批量写入的方式进行数据的处理。示例中通过两次批量写入代替流式写入的方式模拟G-SCD on Delta Lake的数据处理。步骤三:验证数据写入结果 通过查询语句,验证数据是否...

节点类型说明

本文按照节点离线、在线和流式的分类,分别介绍各节点类型对应能处理数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息,请参见 离线类...

Kafka单表实时入湖OSS(HUDI)

数据输出预览 窗口,您可以根据需要修改输入数据,或者单击 手工构造数据 按钮自定义输入数据,然后单击 预览 按钮,查看当前数据处理节点对数据的处理结果,当数据处理节点处理异常,或者产生脏数据时,也会实时反馈异常信息,能够帮助...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云原生大数据计算服务 MaxCompute 云数据库 RDS 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用