如何处理Tair集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
如何处理Redis集群数据倾斜
本文介绍如何确认是否存在数据倾斜，以及导致数据倾斜的原因和处理方法。同时，本文也适用于排查标准架构内存使用率、CPU使用率、带宽使用率和延迟等性能指标高的问题。如何确认是否存在数据倾斜 使用 实例诊断 功能（推荐），一键排查当前...
概述
技术领域 从技术领域的角度，Flink主要用于以下场景：实时ETL（Extract-transform-load）和数据流 实时ETL和数据流的目的是实时地把数据从A点投递到B点。在投递的过程中可能添加数据清洗和集成的工作，例如实时构建搜索系统的索引和实时数...
创建数据流
本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL ...
常见问题（FAQ）
Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且与Apache Spark API完全兼容。Databricks上的Delta Lake允许您根据工作负载模式配置Delta Lake，并提供优化的布局和索引...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
快速入门
您可以通过Lindorm流引擎的实时计算和分析能力处理轨迹点数据，并结合时空函数，实现多种实时轨迹分析需求，例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通，请参见 开通时空服务（免费）。已开通流...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
配置学区地图轮播列表交互
本文档为您介绍当单击 轮播列表 组件时，切换展示对应学校在地图上的位置信息和数据的方法。背景信息 需要实现的交互：当单击用来展示学校排名的 轮播列表 组件内的某一行时，在 地图 组件上定位该学校位置，并通过 散点层 子组件返回该...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
分配流数据分析到边缘实例
本文介绍创建流数据分析任务、发布任务和分配流数据分析任务到边缘实例的整个步骤。前提条件 请您确保已创建完成边缘实例，具体操作请参见 专业版环境搭建。操作步骤 登录 数据分析控制台。创建、设置并发布流数据任务。具体操作，请参见 ...
DROP STREAM
删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;
数据处理
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
网络访问与安全设置
阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据服务Confluent集群。此时，除Control Center提供公网访问方式外，其它集群组件无法从公网访问。公网访问 公网访问是指您可以在公网外访问和...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
用户管理
作为集群安全的一部分，数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
ACL授权
ACL授权主要有两种方式：使用数据流服务Confluent控制台实现ACL授权。本文详细介绍这一授权方式。使用Confluent CLI实现ACL授权。操作指引请参见 使用Confluent CLI进行ACL管理。管控侧ACL授权步骤 首先登录 流数据服务Confluent管控页，...
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
集群开通
本文介绍如何开通和配置流数据服务Confluent集群。开通购买流程 在 流数据服务Confluent管控页 进行集群初始化配置、网络设置等，并完成商品购买和集群部署。目前，流数据服务Confluent开通的Region为：北京、上海、深圳。如有新增Region...
概述
您可以创建SQL类型的流数据分析任务，并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请参见 Flink SQL概述。在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的...
DESCRIBE
查询Lindorm流引擎中数据流表或者外表的列信息。语法 DESCRIBE table_name;参数说明 参数 是否必选 说明 table_name 是 数据流表或者外表的名称。示例 DESCRIBE USERS_ORIGINAL;返回结果如下：+|Field|Type-ROWTIME|BIGINT(system)ROWKEY|...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
产品优势
流数据服务Confluent使客户的流处理服务享受Confluent platform的企业级特性。以下介绍Confluent的业界优势：Confluent是Apache Kafka的原创者开发的产品。Confluent团队撰写提交了80%的Kafka代码，并且拥有超过100万小时的Kafka技术经验。...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
基础版
说明 由于基础版只有一个数据节点，没有备节点作为热备份，因此当该节点意外宕机或者执行变更配置、版本升级等任务时，会出现一段时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础版，可选择其他系列（如高可用版）。基础...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
功能特性
基于此，DataHub新上线的订阅服务提供了服务端保存用户消费点位的功能，用户只需要通过简单的几步配置，然后在自己的应用逻辑里添 创建订阅 删除订阅 查看订阅 数据流消息管理 数据流消息管理 对Project、Topic、shard、group的管理与操作...
CREATE STREAM
数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT ...
概述
查询冷数据 对普通表和分区表执行冷数据归档操作后，您可以通过以下方法查询归档后的冷数据：普通表：执行冷数据归档后，查询冷数据的方法和查询热数据的方法一致，不需要修改访问方式。分区表：执行冷数据归档后，查询冷数据的操作方法请...
INSERT INTO
数据流表支持写入新的数据行，本文介绍通过DML语句将值插入流表中。语法 INSERT INTO[catalog_name.][db_name.]stream_name VALUES values_row[,values_row.]values_row:(val1[,val2,.])参数说明 参数 是否必选 说明 catalog_name 否 目标...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
产品架构
数据管理DMS的产品架构分为三层：数据源、数据运营与管理和商业应用。数据源 关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、Oracle、达梦DamengDB等。...
数据质量：全流程的质量监控
数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，...
开通消息引擎
Lindorm消息引擎是Lindorm流引擎的底层存储，本文介绍如何开通消息引擎。说明 您可以通过Lindorm管理控制台创建Lindorm实例，购买消息引擎，或为已有的Lindorm实例开通消息引擎。创建实例时开通消息引擎 在 实例列表 中点击 创建。在...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
事件流概述
轻量集成 事件流提供了简洁的Stream模型和管控API，只需在控制台简单几步或者一次调用，即可完成事件驱动数据流底层的多个资源的操作和管理，避免了复杂繁琐的操作，便于快速集成。指标监控 事件流提供多个指标，您可以使用这些指标监控...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
- 产品推荐
- 这些文档可能帮助您