实时数据平台-实时数据平台文档介绍内容-阿里云

实时数据采集

本文为您介绍如何使用智能制造平台AICS实时数据采集模块。创建通道登录工业数据中台IGate。在通道管理页面，单击右上角新增通道按钮。通道是测点数据的来源，如果不使用IGate主动采集则不需要添加通道，可使用默认提供的平台标准通道，...

实时数据集成（Flink版）

背景信息阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。详细内容，请参见阿里云实时...

计算设置概述

设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...

查看实时任务监控

在左侧导航栏，单击图标，将鼠标悬停在 实时数据同步上，单击图标。在 实时数据同步页面，单击目标实时任务操作列的监控。跳转到实时同步任务页面，可查看实时任务运行详情，更多信息，请参见查看实时同步任务详情。

配置数据

搭建场景后，您可为场景中模型添加组件，配置组件数据源关联孪生节点的物模型数据，展示孪生体模型的实时数据、状态及告警信息。前提条件已完成以下操作，请参见：添加孪生节点。配置功能属性。搭建场景。重要孪生节点的物模型数据来源于...

上线实时任务

相关操作操作说明下线实时任务单个下线：在 实时数据同步页面，单击目标实时任务操作列的下线，在弹出对话框中单击确定，可下线实时任务。批量下线：在 实时数据同步页面，选择需要下线的任务，单击页面左下角批量下线，可批量...

任务中心

和离线任务有所不同的是实时模型只有常驻任务没有周期性任务，也就是说只要任务处于调度中时，模型有实时数据进来就会自动进行执行。资源组管理资源组管理主要是对实时模型依赖的计算引擎及最大任务数进行配置，上线的资源组可在添加实时...

配置并管理实时同步任务

使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时数据同步任务暂不支持同步没有主键的表。创建实时同步任务创建整库实时同步节点。配置资源组。设置同步来源和规则。在数据来源区域，选择要同步的数据源类型和数据源 ...

查看实时同步任务详情

实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件已上线实时同步任务，具体操作，请参见上线实时任务。操作步骤登录数据资源平台控制台。在页面左上角，...

配置并管理实时同步任务

使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、OceanBase、MySQL及Oracle数据源至DataHub。使用说明 DataHub不同数据类型对应操作的支持情况，不同数据类型的分片策略、数据格式及相关消息...

数仓场景：增量数据实时统计

本文通过示例为您介绍如何基于StarRocks构建数仓场景-增量数据实时统计。前提条件已创建DataFlow或自定义集群，具体操作请参见创建集群。已创建StarRocks集群，具体操作请参见创建StarRocks集群。已创建RDS MySQL，具体操作请参见创建...

添加任务目录

在左侧导航栏，单击图标，将鼠标悬停在 实时数据同步上，单击图标，选择添加子级目录，为根目录添加子目录。在类目属性设置对话框，输入类目名称和类目描述，单击确定。（可选）在左侧导航栏，单击 实时数据同步，将鼠标悬停在新建...

实时数据集成的连接器

在使用Flink SQL开发作业集成物联网平台数据时，需要使用SQL连接器连接物联网平台的数据表（产品属性时序数据、产品事件数据和自定义时序存储表）。物联网平台提供了连接器作为实时计算Flink全托管自定义连接器使用。本文介绍如何使用实时...

数仓场景：增量数据实时统计

本文通过示例为您介绍如何基于StarRocks构建数仓场景-增量数据实时统计。前提条件已创建DataFlow或自定义集群，具体操作请参见创建集群。已创建EMR Serverless StarRocks实例，具体操作请参见创建实例。已创建RDS MySQL，具体操作请参见...

查看实时计算任务详情

实时计算任务是数据开发时发起的实时任务，运维监控支持查看实时计算任务及其详情。本文介绍查看实时计算任务的详情。前提条件在数据开发中，已新建并运行实时计算任务。操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择...

查看数据指标

物联网平台实时监控页面，实时展示您的在线设备数量、上下行消息量和规则引擎消息流转次数。查看数据指标登录物联网平台控制台。在实例概览页签的全部环境下，找到对应的实例，单击实例ID或备注名称。在左侧导航栏中，选择监控运维>...

数据同步

支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...

互联网行业实时BI分析

本文以某互联网公司为例，介绍如何将DB...客户价值 1小时短平快即可实现实时数据分析平台建设，无需掌握Hadoop\Spark\Flink\Presto\Impala等复杂的大数据技术。操作简单快捷，全程拖拽式配置，无需编码。业务实时指标数据延时在1分钟以内。

实时大盘

指标概览以指标卡片的形式展示各项指标实时统计数据，包含启动次数、活跃用户、活跃账号三个指标的实时数据以及日环比和周同比数据。单击指标卡片，下方的折线图将展示该指标数据的实时变化趋势。指标趋势以折线图的形式展现每个小时的...

新增多表实时任务

在左侧导航栏，单击图标，将鼠标悬停在 实时数据同步上，单击图标。在 实时数据同步页面右上角，单击新增多表任务。配置任务基本信息：在 实时数据同步管理页面上方，填写任务名称、所属类目、描述。配置数据源和目标端。在数据源...

Github实时数据同步与分析

本文以使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析为例，为您示例DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。教程...

数据指标说明

物联网平台提供设备、消息、物模型、规则引擎和OTA升级相关指标数据的实时监控服务。本文介绍支持的具体数据指标项。背景信息物联网平台支持实时监控的默认指标为：MQTT协议设备在线数、平台到设备的消息数、设备发到平台的消息数、规则...

新增实时任务

在左侧导航栏，单击图标，将鼠标悬停在 实时数据同步上，单击图标。在 实时数据同步页面右上角，单击新增任务。配置任务基本信息：在 实时数据同步管理页面上方，填写任务名称、所属类目、描述。配置同步资源，包括源端和目标端。在 ...

魔笔数据怎么同步DataWorks

同步DataWorks的基本思路有没有相关的资料是否支持实时同步数据 ———————————————————————————————————————————————— 同步DataWorks的基本思路使用Api的方式对DataWorks的数据进行同步 ...

Kafka单表实时入湖OSS（HUDI）

执行状态：Kafka到OSS的同步任务分为结构迁移和 实时数据同步两个步骤，您可以查看任务执行状态。详细信息：您可以查看结构迁移以及实时同步的执行详情。结构迁移中包含目标表的创建方式（已有表或自动建表），如果是自动建表，将...

TerminateDISyncInstance

下线数据集成实时同步任务。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

MySQL整库实时同步至OSS数据湖

整库实时入湖能力简介支持将源端数据源MySQL的数据结构迁移到OSS数据湖，且支持选择将历史存量数据（整库或部分表）一次性同步至OSS数据湖，增量数据实时同步至OSS数据湖。支持源端新建表的DDL操作，同步过程中可根据源端数据库表数量的...

常见问题

以下为您介绍实时同步数据至Hologres操作失败的常见问题和解决方案。PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...

实时同步字段格式

操作类型（I/D/U）数据对应的时间戳是否是变更前（Y/N）是否是变更后（Y/N）真实数据字段1 真实数据字段2 真实数据字段3 数据集成实时同步在同步MySQL、Oracle、Loghub和PolarDB类型的数据至DataHub或Kafka时，会在同步的目标端添加5个...

查看实时运行数据

本文介绍如何查看时序数据存储IOPS和存储空间的实时使用情况及对应的监控图表，设置相关报警规则。操作步骤登录物联网平台控制台。在实例概览页面，找到对应的企业版实例，单击实例 ID 或备注名称进入实例详情页面。在左侧导航栏，...

查看实例信息和运行数据

实时消息上下行TPS 消息上下行TPS 实时消息转发TPS 消息转发TPS 数据服务标准型和尊享型实时时序存储IOPS 时序存储IOPS 实时时序存储空间时序存储空间 实时数据处理单元数据处理单元实时离线存储空间离线存储空间高精度秒级监控 ...

配置并管理实时同步任务

使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。实时数据同步任务暂不支持同步没有主键的表。注意事项当实时同步至MaxCompute数据源且使用临时AK进行同步...

什么是阿里云实时计算Flink版

阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述阿里云实时计算Flink版是一种全...

DataWorks OpenAPI概述

当前仅支持使用该接口删除实时数据同步任务。3级 UpdateDISyncTask 调用UpdateDISyncTask更新数据集成同步任务。3级 TestNetworkConnection 调用TestNetworkConnection接口，测试目标数据源与所使用资源组的网络连通性。3级 ...

通过大数据平台搭建设备监控大屏

本文介绍如何对接物联网平台和阿里云大数据平台，以实现设备数据分析、统计、计算和可视化实时展示。前提条件开通、购买相关阿里云产品实例和计算资源。使用阿里云大数据平台处理物联网平台设备相关数据，涉及多个阿里云产品，包括云数据...

设备数据存储和计算实践

如下所示存储规划：计算模式实时计算为了满⾜物联⽹实时计算场景，物联网平台提供了实时数据解析功能，基本功能如下：功能项数据解析数据源支持解析设备数据源和API数据源。时效性实时地抽取和转化数据，延迟在秒级。数据格式支持...

风险识别规则响应案例

通常情况下，只有企业数据开发人员和分析人员可以在数据平台上浏览和使用数据，而不允许将详细数据下载到本地进行分析。一旦数据导出到本地，就无法对其使用行为进行审计。同时，如果数据被不当使用或者受到别有用心者的攻击，就可能导致...

通过函数计算节点实现GitHub实时数据分析与结果发送

案例说明 DataWorks为您提供了一个公共的MySQL数据源，存储来自Github的公开实时数据，本案例将此数据进行同步分析，最终将分析结果通过邮件发送至指定邮箱。主要业务过程如下：通过DataWorks的数据集成功能，将MySQL上的Github实时数据...

实时数据API

本文为您介绍什么是实时数据API，以及实时数据API的作用。实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图...

Flink VVP+DLF数据入湖与分析实践

背景信息阿里云实时计算Flink版是一套基于Apache Flink构建的实时大数据分析平台，支持多种数据源和结果表类型。Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在...

实时数据平台

新品推荐