网络访问与安全设置
公网访问 公网访问是指您可以在公网外访问和使用流数据服务Confluent集群。此时，阿里云VPC内仍然可以访问流数据服务Confluent集群。注意 公网流量计费：流数据服务Confluent集群公网访问使用阿里云CLB功能，由此产生的网络费用按照 CLB...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
区域统计
车辆位置：车辆位置信息是实时上传的流数据，可以实时保存在Kafka Topic中。Lindorm流引擎将读取Kafka Topic中的实时数据，基于地理围栏进行实时计算，并将计算结果保存在Lindorm宽表中。前提条件 已将客户端IP地址添加至Lindorm白名单。...
轨迹生成
车辆位置信息是实时上传的流数据，可以实时保存在Kafka Topic中。Lindorm流引擎将读取Kafka Topic中的位置数据，根据计算任务进行实时计算，并将计算结果保存在Lindorm宽表中。前提条件 已将客户端IP地址添加至Lindorm白名单。如何添加，请...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
数据流管理
如果您将索引和请求直接提交到数据流，数据流会自动将请求路由到存储数据流数据的后备索引上。您可以使用索引生命周期管理功能（ILM）来管理后备索引，将旧的后备索引移动到低价的硬件上，并删除不需要的索引，从而帮助您降低成本及开销。...
公告
数据安全新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以命中脱敏算法，提升数据安全性；识别结果管理功能优化，修改分类分级可基于识别记录自动推荐。新增码表目录、公共日历、离线代码模板...
流表
创建流表 指定摄取时间 您可以在建表语句中通过 METADATA FROM 语句，使数据写入时携带摄取时间。CREATE STREAM MyStream(`user_id` BIGINT,`name` STRING,`ingest_time` TIMESTAMP_LTZ(3)METADATA FROM 'timestamp');选择某一列作为事件...
心选市场售卖
本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”，跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...
Control Center基本使用
ksqlDB使用 ksqlDB是一个用于Apache kafka的流式SQL引擎，ksqlDB降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据，可以让我们在流数据上持续执行 SQL 查询，ksqlDB支持广泛的强大的流处理操作，包括...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
包年包月
本文介绍使用流数据服务Confluent包年包月模式下的注意事项。包年包月计费是一种需要先付费才能使用资源的计费方式，主要适用于长时间稳定的业务运行场景。您需要根据实际业务量分析资源的使用需求，一次性支付一个月或者多个月的费用。...
产品优势
本文介绍流数据服务Confluent的产品优势。流数据服务Confluent使客户的流处理服务享受Confluent platform的企业级特性。以下介绍Confluent的业界优势：Confluent是Apache Kafka的原创者开发的产品。Confluent团队撰写提交了80%的Kafka代码...
流数据服务Confluent对比开源Kafka
本文介绍流数据服务Confluent相较于开源Kafka具备哪些优势。流数据服务Confluent vs Kafka的具体优势如下：特性 Apache Kafka Confluent Platform 提供Connect和Streams组件 支持 支持 多编程语言开发 Client：C++，Python，Go，以及.NET ...
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。...可能原因：您的RDS数据库与流计算项目不在同一区域。...参考文档：【流数据与大屏DataV】如何使用DTS，DataHub，StreamCompute，RDS及DataV搭建流数据大屏。
应用场景
数据处理流水线 使用 云工作流 可以快速搭建一个高可用的数据处理流水线（Data Pipeline）。例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做...
产品简介
流数据服务Confluent全托管服务可以解决以下痛点：正版全托管云上企业级Kafka服务：流数据服务Confluent提供正版Confluent Platform license，并且只需较低成本即可享受。搭建Kafka集群复杂性的问题：使用阿里云商业版Confluent，您可以在...
配置流入湖任务延迟监控
您可以通过云监控查看数据湖构建（DLF）流任务延迟状况，以及为每一个流任务设置报警规则，帮助您监控流任务运行状态。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。查看流任务监控数据 您可以在...
功能特性
数据集成 ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
典型使用场景
Kafka/Flink等消息中间件/流数据系统将数据实时Sink到 AnalyticDB PostgreSQL版。AnalyticDB PostgreSQL版 通过攒批覆盖写特性和近线性的水平扩展能力，集群整体实时写入性能可达百万级TPS。批量加载 批量加载的具体操作包括“copy from ...
通过流引擎实现地理围栏监控
场景说明 通过流引擎的流数据存储和实时计算能力，结合Ganos时空引擎技术，对车辆的点位数据进行地理围栏（指定的路径数据）监控判断。在地理围栏监控场景中，根据业务需求提前将地理围栏数据记录在Lindorm宽表中（图中的route_table表）。...
数据传输与迁移概述
流数据同步任务写入 DataHub数据同步MaxCompute。KafKa数据同步MaxCompute。自定义写入 SDK写入-流式数据通道（Streaming Tunnel）。离线数据批量数据写入（外表-湖仓一体）场景特征：主要用于数据联邦查询分析，偶尔需要对数据进行搬运。...
外部数据
说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问。一个外部数据包装器是一个库，它可以与一个外部数据源通讯，并隐藏连接到数据源和从它获取数据的细节。在 contrib 模块中有一些...
工作流编辑
在E-MapReduce数据开发项目中，您可以在作业编辑中定义一组有依赖的作业，然后创建工作流，使作业按照依赖依次执行。E-MapReduce工作流支持基于有向无环图（DAG）并行执行大数据作业，您可以通过E-MapReduce控制台管控工作流调度以及查看...
数据质量教程概述
数据质量是数据分析结论有效性和准确...及时性 及时性主要体现在最终ADS层的数据可以及时产出。为保证及时性，您需要确保整条数据加工链路上的每个环节都可以及时产出数据。本教程将利用DataWorks智能监控功能保证数据加工每个环节的及时性。
存储类型
存储类型说明 云原生多模数据库Lindorm支持的存储类型及其适用场景如下：存储类型 访问延迟 适用场景 支持的引擎类型 扩展能力 标准型云存储 3ms~5ms Feed流数据、聊天、实时报表、在线计算等实时访问数据。宽表引擎、时序引擎、搜索引擎、...
DROP STREAM
删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
C100售前支持相关问题
审计数据可以通过控制台进行备份，备份的数据存储在对象存储OSS中。存储空间已经清空，为何控制台还是显示存储空间满？SLS清除数据任务一般会有1至2小时的延迟，可以在清空存储空间两小时后确认空间是否已清空。数据库审计和其他产品的区别...
表流读写
因此，如果只想从某些分区删除数据，可以使用：Scala%spark events.readStream.format("delta").option("ignoreDeletes","true").load("/mnt/delta/user_events")但是，如果您必须基于user_email删除数据，则需要使用：Scala%spark events....
添加数据
由于本示例的数据区域是全国范围，因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面，单击 配置数据源。在 设置数据源 页面，按照以下说明配置数据源。数据源类型...
集成与开发概览
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
INSERT INTO
数据流表支持写入新的数据行，本文介绍通过DML语句将值插入流表中。语法 INSERT INTO[catalog_name.][db_name.]stream_name VALUES values_row[,values_row.]values_row:(val1[,val2,.])参数说明 参数 是否必选 说明 catalog_name 否 目标...
数据质量：全流程的质量监控
数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
冷热分层
基于Tablestore的通道服务，原始数据可以利用变更数据捕获CDC（Change Data Capture）技术写入多种存储组件中。示例 本示例结合Tablestore和Delta Lake，进行数据的冷热分层。实时流式投递。创建数据源表。数据源表是原始订单表OrderSource...
- 产品推荐
- 这些文档可能帮助您