部署高可用架构应用集群
本示例中服务器配置如下：说明 在实际环境作为数据库服务器时，建议选择内存相对较高的套餐，以提高服务器的数据处理能力。实例类型：选择 服务器实例。地域和可用区：单击 中国 页签，然后选择 华东1（杭州）。镜像：单击 应用镜像 页签，...
系统函数分类
空间函数 处理空间数据（几何数据类型-GEOMETRY），实现计算多边形面积、几何求交、几何求差等数据处理能力。其它函数 除上述函数之外，提供支持其他业务场景的函数。注意事项 在使用系统函数的时候，需要注意：系统函数的入参类型、入参...
EMR Workbench
数据处理能力：集成了Apache Spark、Hive、StarRocks等强大的数据处理框架。EMR Workflow 工作流设计：通过可视化界面设计和管理数据处理流程。任务调度：支持定时执行任务，自动化复杂的工作流程。依赖管理：自动处理工作流中任务间的依赖...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
引擎简介
流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI...
MaxFrame概述
更完善的算子支持 MaxFrame完全兼容Pandas接口且自动进行分布式处理，在保证强大数据处理能力的同时，大幅提高数据处理规模及计算效率。使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并...
产品优势
基于低成本的OSS存储，提供开放标准的Hudi格式，支持近实时的增量数据处理能力，并提供 数据入湖 的能力。简单易用 AnalyticDB MySQL版 高度兼容MySQL协议和SQL:92、SQL:99、SQL:2003标准，通过标准SQL和 常用BI工具、以及ETL工具平台即可...
聚合支付方案
借助PolarDB和 AnalyticDB MySQL 的大数据处理能力，决策报表的生成时间从分钟级别降低至秒级，大部分报表可以在10秒内生成，部分特别复杂的报表生成时间为1分钟。业务行为和业务决策平滑对接，决策者可以通过报表数据快速进行业务决策，...
Babelfish简介
如果您期望一份成本享受两种数据库引擎的数据处理能力。Babelfish for RDS PostgreSQL架构图 架构说明：Babelfish for RDS PostgreSQL实例具备两个TCP端口，分别监听来自SQL Server和PostgreSQL客户端的SQL请求。TDS Listener：接收SQL ...
什么是EMR Serverless StarRocks
StarRocks能够实现秒级的导入延迟，提供近乎实时的数据处理能力。其存储引擎在导入数据的同时保障了ACID事务特性，保证了批量导入的原子性，确保操作要么全部导入成功，要么全部导入失败。这种设计允许多个事务并行处理，同时提供快照隔离...
实例选型和集群规划
Segment节点数量：采用MPP架构，数据处理能力随实例节点数量增加而线性增长，保证数据量增加而响应RT时间不变。可以参照原始数据量及应用场景，选择适合的实例节点数。存储类型：ESSD：可以提供更好的I/O能力，带来更高的分析性能，适用于...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
云数据库RDS简介
例如，Ganos 时空引擎提供室内外、地上下、动静态全空间数据处理能力；TDE 支持表级别加密；全密态 数据库支持数据在存储、计算、传输的全程加密；Babelfish 插件提供解析和执行SQL Server T-SQL语句的能力。rds_ccl 插件通过SQL限流避免过...
什么是ETL
实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓加速：通过流数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。报表提速：构建实时报表体系，...
流式ETL
实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓加速：通过流数据处理先将数据预处理至数仓，后续再对数仓数据进行深度挖掘。既不影响业务库运行，也能满足离线数仓对外服务。报表提速：构建实时报表体系，...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
功能更新动态（2022年之前）
实时数据处理 数据集成 致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。数据集成 告警中心 为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。告警中心 资产质量 为您提供全链路...
产品优势
支持横向扩展，性能可达到百万级别读和千万级别写入的数据点处理能力。存储成本低 基于高效压缩算法有效压缩原始数据，最多可节约 90%的存储空间。使用简单 兼容 OpenTSDB 的数据访问协议，开发简单。控制台提供丰富的数据管理和运维功能，...
外部表概述
该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的...
文档更新动态（2022年之前）
通用功能 概述 2020-04-09 数据处理 功能拓展 新增实时数据处理，帮助您处理实时计算任务。通用功能 实时数据处理 2020-04-09 实时元表 新增功能 为您介绍如何查看实时元表的详情。通用功能 元表详情 2020-04-09 函数权限 新增功能 为您...
常见问题
本文列举出 云原生内存数据库Tair 实例有关产品...云原生内存数据库Tair 实例在CPU处理能力、数据传输带宽（上行/下行）和连接数等方面都有限制。不同规格实例的性能参数有所区别，详情请参见 规格查询导航，您也可以查看购买页上的对应提示。
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
MaxCompute湖仓一体
MaxCompute可以利用DLF对OSS元数据管理能力，提升对OSS半结构化格式（Delta Lake、Hudi、AVRO、CSV、JSON、PARQUET、ORC）数据的处理能力。更多DLF和OSS介绍，请参见 数据湖构建DLF 和 对象存储OSS。通过MaxCompute与Hadoop构建湖仓一体：...
MaxCompute湖仓一体
MaxCompute可以利用DLF对OSS元数据管理能力，提升对OSS半结构化格式（Delta Lake、Hudi、AVRO、CSV、JSON、PARQUET、ORC）数据的处理能力。更多DLF和OSS介绍，请参见 数据湖构建DLF 和 对象存储OSS。通过MaxCompute与Hadoop构建湖仓一体：...
亿海蓝-航运大数据的可视化案例
客户感言“阿里Ganos产品很好地提升了我们对异构时空数据的处理能力。Lindorm高性能、低延迟、高吞吐、稳定性让我们节省了不少运维投入，更多精力投入到业务实现上。——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的...
东软案例
利用内置多模数据引擎处理能力，阿里云Lindorm完美适配东软客户IT运维监控场景数据存储分析需求。东软基于Lindorm打造，面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如下图所示，其中Lindorm作为核心运维数据...
2021年
MaxCompute可以利用DLF对湖数据的元数据管理能力，提升对OSS半结构化格式（AVRO、CSV、JSON、PARQUET、ORC）数据的处理能力。与Hadoop HDFS构建湖仓一体能力：通过MaxCompute和Hadoop HDFS（包括本地机房搭建、基于云上虚拟机搭建以及阿里...
异构数据源访问
高效数据处理：可利用 AnalyticDB PostgreSQL版 数据库的并行处理能力，实现高效的数据读写操作。简化数据集成：可通过编写SQL语句来访问外部数据源，不必担心不同数据源的连接细节。版本限制 AnalyticDB PostgreSQL 6.0版 实例需为v6.6.0....
功能特性
海量时空数据的快显分析能力 快速时空数据分析能力能够处理海量数据，并支持对千万级矢量数据进行可视化分析，帮助用户实时验证分析结果。内置地理统计分析能力 我们提供内置的地理统计分析功能，可以科学而专业地使用颜色、符号、宽度、...
区域热力层（v2.x版本）
动作 动作 说明 请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 http://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则...
区域热力层（v4.x版本）
请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。切换...
通用数据开发
数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。...
产品计费
处理场景 处理能力 简单的数据处理。例如，过滤、清洗等操作。1 CU每秒可以处理40000~55000条数据。复杂的数据处理。例如，聚合操作、复杂UDF计算等。1 CU每秒可以处理5000~10000条数据。计费项 计算资源作为Serverless Spark工作空间的...
面临的业务挑战
数据时效性在企业运营中的重要性日益凸现，数据的实时处理能力成为企业提升竞争力的重要因素。越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的...
应用采集
解压后有两个目录：collector：collector是统一收集器，单独部署在没有线上应用的服务器上（数据处理时避免对线上应用造成影响）。javaagent：javaagent目录拷贝到需要监控的应用服务器上，和应用部署在一起，用于采集数据。确保Collector...
什么是数据管理DMS
简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主诊断修复等能力，降低企业数据价值挖掘门槛。高效协同：提供覆盖数据全生命周期的 DevOps，内置阿里巴巴大规模实践的数据管控...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
安全基线检查
策略名称 说明 日志监控审计 数据处理的全生命周期应具备记录和监控能力，确保数据处理过程可审计、可追溯。资产应开启日志审计或日志存储等功能。该策略检测数据库是否开启了安全日志审计、日志存储等功能。身份权限管理 数据的访问和使用...
- 产品推荐
- 这些文档可能帮助您