产品系列

资源分离:弹性模式下,CPU内存资源被分为计算资源和数据资源,计算资源用于数据处理和计算统计运算;数据资源用于数据写入查询时的数据读取。支持单独购买计算资源和数据资源,方便您深入分析资源瓶颈,精确扩缩容,降低成本。哪些...

E-MapReduce弹性低成本离线大数据分析

Storm适用于处理高速、大型数据流的分布式实时计算,为Hadoop添加可靠的实时数据处理能力。海量离线数据分析可以应用于多种场景,例如:商业系统环境:电商海量日志分析、用户行为画像分析。科研行业:海量离线计算分析数据查询。游戏...

快速入门

您可以通过Lindorm引擎的实时计算和分析能力处理轨迹点数据,并结合时空函数,实现多种实时轨迹分析需求,例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通,请参见 开通时空服务(免费)。已开通...

创建数据流

本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL SQL Server:RDS SQL Server、MyBase SQL Server、其他来源SQL ...

计费常见问题

MaxCompute以项目为计费单元,计费项包括存储、计算和数据下载,费用包含存储(按存储量计费)、计算(根据计费模式产生费用)外网下载(按下载量计费)费用。更多MaxCompute计费方式信息,请参见 计费项与计费方式概述。如果按月购买...

函数

自定义函数(UDF):为MaxCompute提供了高度的灵活性,允许您根据具体业务逻辑进行定制化的数据计算和分析。自定义函数(UDF)可以进一步分为标量值函数(UDF)、自定义聚合函数(UDAF)自定义表值函数(UDTF)三种类型。您在开发完成UDF...

什么是物联网边缘计算

提供的路由路径如下:设备至IoT Hub 设备至函数计算 设备至流数据分析 函数计算至函数计算 函数计算至IoT Hub 流数据分析至IoT Hub 流数据分析至函数计算 IoT Hub至函数计算 断网续传 边缘计算节点在断网或弱网情况下提供数据恢复能力。...

数据传输作业:数据集成

离线同步 离线(批量)的数据通道通过定义数据来源去向的数据和数据集,提供一套抽象化的数据抽取插件(Reader)、数据写入插件(Writer),并基于此框架设计一套简化版的中间数据传输格式,从而实现任意结构化、半结构化数据源之间...

数据归档

背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中,以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...

产品优势

通过资源组分时弹性按需弹性,在数据分析和数据处理之间实现计算资源倾斜,提高资源利用率,降低资源成本。湖仓版(3.0)支持体验一体化。通过统一 计费单位、统一元数据 权限、统一开发语言、统一传输链路,提升开发效率。Serverless ...

管理

由接服务接入的视频点位输出视频流数据计算服务分析,管理支持添加或移除计算工作组(任务)处理的视频。前提条件 添加或删除视频前,需已创建并启动计算任务。参考 任务管理。接工作组中存在接状态为在线的视频点位。添加...

常见问题

可能原因:您的RDS数据库与流计算项目不在同一区域。解决方法:需要手动将流计算服务的白名单添加到RDS白名单中,详情请参见 数据存储白名单配置。源表数据无法同步到目标表中。可能原因:源表的数据类型与目标表不一致,在进行类型转换时...

产品概述

阿里云流数据处理平台数据总线DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)分发功能,让您可以轻松构建基于流式数据的分析应用。数据总线 DataHub服务可以对各种移动设备,应用...

整体架构

Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块:数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织,其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。...

教程概述

本案例的整体步骤如下:准备工作:完成阿里云RDS实例和流计算项目的创建。数据采集:通过阿里云DTS的数据同步功能,将RDS中的数据同步到DataHub中,完成数据采集。数据订阅:通过阿里云实时计算Flink,订阅DataHub数据进行实时计算,插入到...

什么是云数据库ClickHouse

数据库ClickHouse 是开源列式数据库管理系统ClickHouse在阿里云上的托管服务,分为企业版社区兼容版,在开源版本基础上提升了稳定性、安全性可运维性。用户可以在阿里云上便捷地购买云资源,搭建自己的ClickHouse集群。云数据库...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

应用场景

设备通过工业接口协议将自身状态数据和生产业务数据接入工业设备网关,然后通过 MQTT 协议发送到物联网平台,继而传输到云上的消息服务系统并经过流计算系统处理后写入 TSDB,完成时序数据的存储分析。系统运维业务实时监控 通过对大...

引擎简介

流引擎面向流式数据,实现了流存储和流计算的融合一体化,提供高效的实时数据处理能力。同时,在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合,共享存储,提供完整统一的数据库体验。此外,流引擎与 时空引擎、AI...

计算层高可用

任意节点宕机导致当前节点上的计算任务失败,可依赖计算任务间的血缘关系,找到上一次持久化的中间数据结果,对失败任务进行重新调度计算,而且仅重新计算失败的任务。对于Coordinator前端节点,通过持久化查询的元数据,通过调度新的...

概述

您可以创建SQL类型的流数据分析任务,并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致,语法说明请参见 Flink SQL概述。在流数据分析中,数据存储用源表、维表、结果表来表示。但由于运行环境不一样,边缘端与云端支持的...

Spark概述

架构 Spark架构如下图所示,基于Spark Core构建了Spark SQL、Spark Streaming、MLlibGraphx四个主要编程库,分别用于离线ETL(Extract-Transform-Load)、在线数据分析、流计算、机器学习图计算等场景,详情请参见 Apache Spark官网。...

准备数据和计算

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

产品优势

流数据服务Confluent使客户的流处理服务享受Confluent platform的企业级特性。以下介绍Confluent的业界优势:Confluent是Apache Kafka的原创者开发的产品。Confluent团队撰写提交了80%的Kafka代码,并且拥有超过100万小时的Kafka技术经验。...

数仓分层

在阿里巴巴的数据体系中,我们建议将数据仓库分为三层,自下而上为:数据引入层(ODS,Operation Data Store)、数据公共层(CDM,Common Data Model)和数据应用层(ADS,Application Data Service)。数据仓库的分层各层级用途如下图所...

网络访问与安全设置

阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问使用流数据服务Confluent集群。此时,除Control Center提供公网访问方式外,其它集群组件无法从公网访问。公网访问 公网访问是指您可以在公网外访问...

基础版Spark全密态计算引擎使用示例

AnalyticDB MySQL 湖仓版(3.0)基础版的Spark全密态计算引擎可以加密敏感数据,并将数据以密文的形式传输存储,只有密钥拥有者才能解密数据,避免数据泄露。本文 以云数据库RDS MySQL例,介绍使用基础版Spark全密态计算引擎加密数据,...

DataWorks V3.0

E-MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache HadoopApache Spark,让您可以方便地使用HadoopSpark生态系统中的其它周边系统(例如Hive),来分析和处理自己的数据的大数据...

发展历程

深度参与推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台,成为国际TPC(Transaction Processing Performance Council)委员会大数据评测标准BigBench的委员会委员,是中国担任此国际性能标准化测试组织委员的唯一企业。...

2019年

它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持您以熟悉的开发使用方式提交运行Spark作业,满足更丰富的数据处理分析需求。2019-07-23 全部区域 概述 新增 西南(成都)区域 MaxCompute服务在 西南(成都)区域开通。...

资源分析

趋势分析 趋势分析为您展示了全局的 存储 计算 在一定的时间周期内的数据趋势,包括存储消耗的数据趋势和计算健康分、计算消耗、存储健康分,助您分析数据的稳定性。趋势分析中,默认以上图中的标识①处选择的报告日期为基础,展示最近...

数据质量衡量

例如,针对每一个数据质量事件,必须分析原因和处理过程,制定后续同类事件预防方案。将严重的数据质量事件升级为故障,并对故障进行定义、等级划分、处理和总结。相关工具链接 DataWorks数据质量管理工具,请参见 数据质量概述。DataWorks...

计算节点变配

数据和计算量动态增长,计算资源(CPU、磁盘、内存以及数据处理节点数量)成为数据处理速度的瓶颈时,您可以对实例动态扩展,在线变更实例规格和计算节点。目前 AnalyticDB PostgreSQL版 不同的 实例资源类型 对计算节点变配的支持程度...

表设计规范

降低计算成本 规范化的表设计可以帮助您优化数据的读取,从而减少计算过程中的冗余读写和计算,提升计算性能,降低计算成本。降低维护成本 规范化的表分层设计能够直接体现业务的特点。例如,在规范化设计表的同时对数据通道中的数据采集...

CREATE CQ

连续查询(Continuous Query,简称CQ),对Lindorm流引擎中的实时数据进行计算(过滤、转换、增强、聚合),并将计算结果写入到另一个数据流表或者外表中,直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...

CREATE STREAM

数据流表仅支持新增数据,不支持更新数据删除数据。数据流表中的最小单元为Record,Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上,具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT ...

基本概念

视觉计算服务涉及到的一些基本概念。ACU ACU代表1份AI计算能力,1ACU相当于1路1080P 4Mbps视频流的人脸识别...图片流计算 图片流计算是设备上传图片数据进行AI视觉计算。存储 存储是指设备产品的实时视频流生成视频文件片段,并存储到OSS中。

数据质量教程概述

数据质量是数据分析结论有效性准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前,请您首先完成 搭建互联网在线运行分析平台 教程,详情请参见 业务场景与开发流程。业务场景 ...

产品架构

LindormStream内部包含流存储、流计算两大组件,通过两者的一体化部署深度融合,支持流数据的高性能实时处理。其中,流存储负责消息日志数据的写入订阅,兼容开源Kafka API,并且数据持久化存储在底层LDFS中,具备高吞吐、低成本、弹性...

创建工作

本文介绍如何通过控制台创建工作,包括创建、编辑、删除查看工作。基于空白画布创建工作 登录 云工作控制台,然后在顶部菜单栏,选择地域。在左侧导航栏,选择 工作列表,然后在 工作列表 页面,单击 创建工作。在弹出的 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据传输服务 云原生大数据计算服务 MaxCompute 云服务器 ECS 实时计算 Flink版 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用