使用DataHub（实时数据传输）
本文为您介绍流式数据处理服务DataHub。DataHub 是MaxCompute...DataHub实时数据通道的详情请参见 DataHub文档。DataHub提供了Java和Python两种语言的SDK，可供您使用。详情请参见下述文档：DataHub Java SDK介绍。DataHub Python SDK介绍。
使用Flink SQL消费实时变更数据示例
Pull模式的实时数据订阅功能底层使用Lindorm Streams Storage存储订阅消息，读写方式兼容Kafka客户端，因此可以支持Flink通过Kafka Connector的方式订阅消费。前提条件 已创建数据订阅通道，具体操作，请参见 通过Pull模式创建数据订阅通道...
实时数据API
本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...
实时数据导出
产品定价 实时数据导出定价详情 计费示例 假设某一天您通过实时数据导出获取监控指标的总数据点为28000万个，则一天的数据导出费用如下：费用=20000万个数据点×0.0056元/万个+（28000-20000）万个数据点×0.0041元/万个=144.8元 重要 计费...
实时数据同步
实时同步功能旨在帮助用户实现两个数据源之间的数据实时同步。可应用于数据异地灾备、数据库扩缩容、跨境数据同步、查询与报表分流、云 BI（商业智能工具）及实时数据仓库等多种业务场景。支持的同步链路 数据源端 数据目的端 支持的拓扑 ...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
实时数据订阅概述
云原生多模数据库 Lindorm 支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的实时增量数据，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。背景信息 云原生多模数据库 Lindorm 数据订阅功能支持任何一个表的...
使用内置公开数据集快速体验实时计算Flink版
本文为您介绍如何基于阿里云实时计算Flink版内置的GitHub公开事件样例数据，快速体验实时计算Flink版产品的实时数据分析功能。注意事项 如果您是实时计算Flink版新用户，可以申请该产品的免费资源包，免费试用体验实时计算Flink版产品的...
实时数据采集
本文为您介绍如何使用智能制造平台AICS实时数据采集模块。创建通道 登录 工业数据中台IGate。在通道管理页面，单击右上角 新增通道 按钮。通道是测点数据的来源，如果不使用IGate主动采集则不需要添加通道，可使用默认提供的平台标准通道，...
Dataphin支持的实时数据源
在Dataphin实时计算引擎下，您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 ...
Dataphin支持的实时数据源
在Dataphin实时计算引擎下，您可通过实时任务创建实时数据源对应的表类型。本文为您介绍Dataphin各实时计算引擎支持的实时数据源及对应的读写支持。Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 ...
Flink+Hologres实时数据大屏
本文以GitHub公开事件数据为例，为您介绍使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例），实现海量数据实时分析的通用架构与核心步骤。示例架构 搭建实时数仓时，Flink可对待处理数据进行实时清洗，...
Github实时数据同步与分析
本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...
实时消费Kafka数据
使用实时数据消费，不同分区（Partition）之间需要使用主键列做分区因子，否则可能会造成全局死锁错误，导致部分数据更新失败。实时数据消费当前仅支持Kafka消息队列，暂不支持CDC格式的数据源。当前的版本向导模式支持CSV和Delimited两种...
DescribeSyncReportOutliers-获取实时数据报告异常...
获取实时数据报告异常明细。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v2/openapi/instances/{...
PolarDB HTAP实时数据分析技术解密
MySQL+专用AP数据库的搭积木方案 专用分析型数据库产品众多，一个可选方案为：使用两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据实时同步。用户甚至可以增加一层proxy，自动将TP型负载路由至MySQL数据库，...
使用Spark Structured Streaming实时处理Kafka数据
本文介绍如何使用阿里云 Databricks 数据洞察创建的集群去访问外部数据源 E-MapReduce，并运行Spark Structured Streaming作业以消费Kafka数据。前提条件 已注册阿里云账号，详情请参见 阿里云账号注册流程。已开通 E-MapReduce服务。已...
实时数据集成（Flink版）
本文介绍使用实时计算Flink版的连接器功能集成物联网平台实例下数据服务中数据的完成流程。前提条件 已完成实时计算Flink版服务开通和准备工作。如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 ...
DescribeSyncReportDetail-获取实时数据小时级别报告...
获取实时数据小时级别报告细节信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v2/openapi/...
DescribeApsActionLogs-查询实时数据接入任务的日志
查询AnalyticDB MySQL湖仓版（3.0）集群实时数据接入任务的日志详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
数仓场景：增量数据实时统计
场景介绍 因为部分场景对数据延迟非常敏感，数据产生的时候必须完成加工，所以此时您可以通过增量数据实时统计的方式，提前使用Flink将明细层、汇总层等层数据进行汇聚，汇聚之后把结果集存下来再对外提供服务。方案架构 增量数据实时统计...
数仓场景：增量数据实时统计
场景介绍 因为部分场景对数据延迟非常敏感，数据产生的时候必须完成加工，所以此时您可以通过增量数据实时统计的方式，提前使用Flink将明细层、汇总层等层数据进行汇聚，汇聚之后把结果集存下来再对外提供服务。方案架构 增量数据实时统计...
通过函数计算节点实现GitHub实时数据分析与结果发送
案例说明 DataWorks为您提供了一个公共的MySQL数据源，存储来自Github的公开实时数据，本案例将此数据进行同步分析，最终将分析结果通过邮件发送至指定邮箱。主要业务过程如下：通过DataWorks的数据集成功能，将MySQL上的Github实时数据...
DTS 数据增量迁移的基本原理是什么？是否能够保证两边...
DTS 的增量迁移是实时获取在迁移过程中，源数据库产生的增量数据，然后在全量迁移完成后，开始同步到目标 RDS 实例中。当增量迁移第一次追平源库的写入时，增量迁移的状态为无延迟，此后增量迁移会一直同步源数据库的业务写入。DTS 在进行...
投递CDN实时日志到SLS来分析用户访问数据
本文介绍如何使用实时日志功能对用户访问日志进行分析。概述 阿里云CDN产品的实时日志功能是CDN产品与SLS产品联合推出的一项功能，是一种时效性非常高（延迟在3分钟左右）的日志数据处理服务，能够将CDN节点上采集到的用户访问日志实时推送...
投递CDN实时日志到SLS来分析用户访问数据
本文介绍如何使用实时日志功能对用户访问日志进行分析。概述 阿里云CDN产品的实时日志功能是CDN产品与SLS产品联合推出的一项功能，是一种时效性非常高（延迟在3分钟左右）的日志数据处理服务，能够将CDN节点上采集到的用户访问日志实时推送...
如何将MySQL数据库内的数据实时同步到另一个数据库中
概述 本文主要介绍如何将MySQL数据库内的数据实时同步到另一个数据库中。详细信息 如何将MySQL数据库中的数据实时同步到另一个数据库中，您可以参考如下几种解决办法。阿里云产品数据传输服务DTS可以实现实时同步数据，目前只支持MySQL和...
基于实时计算Flink使用CTAS语句同步MySQL数据至...
本文为您介绍如何使用Flink，通过CTAS语句将MySQL数据同步至EMR Serverless StarRocks中。背景信息 您可以通过CTAS或CDAS语句将MySQL数据同步至EMR Serverless StarRocks，CTAS可以实现单表的结构和数据同步，CDAS可以实现整库同步或者同一...
实时数据集成的连接器
本文介绍如何使用实时计算Flink版集成物联网平台数据的连接器（IoT Connector）。下载连接器（IoT Connector）连接器文件：iot-flink-connector-source.jar。支持的数据类型 数据类型 物联网平台存储表的数据类型 Flink配置的数据类型 整型...
通过DTS将MySQL数据实时同步到阿里云Elasticsearch
当您需要将企业线上的RDS MySQL中的生产数据实时同步到阿里云Elasticsearch中进行搜索分析时，可通过数据传输服务DTS（Data Transmission Service），快速创建RDS MySQL到阿里云Elasticsearch的实时同步作业。本文介绍如何配置RDS MySQL到...
投递CDN实时日志到SLS来分析用户访问数据最佳实践
本文介绍如何使用实时日志功能对用户访问日志进行分析。概述 阿里云CDN产品的实时日志功能是CDN产品与SLS产品联合推出的一项功能，是一种时效性非常高（延迟在3分钟左右）的日志数据处理服务，能够将CDN节点上采集到的用户访问日志实时推送...
基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至...
本文为您介绍如何使用实时计算Flink平台和E-MapReduce StarRocks通过CTAS&CDAS功能实现实时数仓中TP（Transaction Processing）和AP（Analytical Processing）数据同步的场景。背景信息 通过CTAS（CREATE TABLE AS）语句可以在StarRocks中...
通过流引擎实现交易数据实时统计
本文介绍使用Lindorm流引擎对交易数据进行实时统计，并将统计结果（即每小时的订单数量和交易金额）存储至Lindorm宽表中。前提条件 已安装Java环境，要求安装JDK 1.7及以上版本。已将客户端IP地址添加至Lindorm实例的白名单中，具体操作请...
使用阿里云实时计算Flink实现MySQL至StarRocks的数据...
本文为您介绍如何使用阿里云实时计算Flink的VVP平台同步MySQL数据到E-MapReduce的StarRocks。前提条件 已开通阿里云实时计算Flink全托管，详情请参见 开通Flink全托管。已创建StarRocks集群，详情请参见 创建StarRocks集群。说明 Core实例...
查看实时运行数据
本文介绍如何查看时序数据存储IOPS和存储空间的实时使用情况及对应的监控图表，设置相关报警规则。操作步骤 登录 物联网平台控制台。在 实例概览 页面，找到对应的企业版实例，单击实例 ID 或备注名称进入 实例详情 页面。在左侧导航栏，...
Quick BI数据集跨源数据集报错“需要开启Quick引擎...
问题描述 Quick BI数据集跨源数据集报错“需要开启Quick引擎实时加速才能使用跨源关联查询”，但是开启加速配置失败。解决方案 数据集‘加速配置’需要在‘配置面板-Quick引擎(公测)-实时加速’配置。适用于 Quick BI
基于Flink的实时大数据应用Demo
相关文档 什么是阿里云实时计算Flink版 应用场景 实时数仓Hologres使用流程
PolarDB-X间的数据实时同步
云原生分布式数据库 PolarDB-X 是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期运维管控能力。...
GetNatTopN-获取NAT网关SNAT转发实时数据排名
调用GetNatTopN接口，获取NAT网关的SNAT转发实时数据排名。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
- 产品推荐
- 这些文档可能帮助您