流数据-流数据文档介绍内容-阿里云

发布数据流

完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录数据管理DMS 5.0。在顶部菜单栏中，选择集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...

数据流运维

您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录数据管理DMS 5.0。在顶部菜单栏中，选择集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方前往运维。在数据流运维...

创建数据流

在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...

数据流管理

如果您将索引和请求直接提交到数据流，数据流会自动将请求路由到存储数据流数据的后备索引上。您可以使用索引生命周期管理功能（ILM）来管理后备索引，将旧的后备索引移动到低价的硬件上，并删除不需要的索引，从而帮助您降低成本及开销。...

管理数据流动

在实现CPFS智算版文件系统与OSS Bucket之间的数据流动之前，需要确保已经创建了对应的数据流动。本文介绍如何在文件存储控制台创建并管理CPFS智算版数据流动。前提条件源端OSS Bucket已设置标签（key:cpfs-dataflow,value:true）。在数据...

管理数据流动

在进行CPFS Fileset与OSS Bucket之间的数据流动之前，需要确保已经创建对应的数据流动。本文介绍如何在CPFS控制台创建并管理数据流动。前提条件已创建CPFS Fileset。更多信息，请参见创建Fileset。源端OSS Bucket已设置标签（key:cpfs-...

数据流动概述

文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...

数据流动概述

CPFS智算版文件系统与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息当CPFS智算版文件系统中的目录与OSS Bucket创建数据流动后，通过创建数据流动任务，可以完成数据的高速传输。传输完成后...

流数据分析相关问题

本章描述流数据分析及其任务相关的一些常见问题。查看任务运行状态在远程控制台执行如下命令：/linkedge/gateway/build/bin/lectl sc show 系统返回类似如下内容，若 running 参数值为 true，则表示任务正在运行中。TOTALCOUNT 02=-01-ID:...

什么是边缘流数据分析

流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...

分配流数据分析到边缘实例

本文介绍创建流数据分析任务、发布任务和分配流数据分析任务到边缘实例的整个步骤。前提条件请您确保已创建完成边缘实例，具体操作请参见专业版环境搭建。操作步骤登录数据分析控制台。创建、设置并发布流数据任务。具体操作，请参见 ...

流数据服务Confluent对比开源Kafka

本文介绍流数据服务Confluent相较于开源Kafka具备哪些优势。流数据服务Confluent vs Kafka的具体优势如下：特性 Apache Kafka Confluent Platform 提供Connect和Streams组件支持支持多编程语言开发 Client：C++，Python，Go，以及.NET ...

管理数据流动任务

本文介绍如何在文件存储控制台创建、管理CPFS智算版文件系统的数据流动任务及查看任务报告。前提条件已创建数据流动。具体操作，请参见创建数据流动。任务说明数据流动任务可分为导入（Import）和导出（Export）两种类型。类型说明 ...

管理数据流动任务

本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件已创建CPFS Fileset。具体操作，请参见创建Fileset。已创建数据流动。具体操作，请参见创建数据流动。任务说明任务类型按任务对数据的操作，可分为...

ModifyDataFlow-修改数据流动

修改数据流动的属性。接口说明该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。仅支持状态为 Running（正常）状态的数据流动修改属性。修改数据流动一般耗时 2~5 分钟，您可以通过 DescribeDataFlows 查询...

StopDataFlow-停用数据流动

停用一个数据流动。接口说明该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能停用 Running（正常）状态的数据流动。停用后，不可在数据流动上创建数据流动...

StartDataFlow-启用数据流动

启用一个数据流动。接口说明该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能启动 Stopped（停止）状态的数据流动。当 DryRun 为 true 时，可校验启动该...

DeleteDataFlow-删除数据流动

删除一个数据流动。接口说明仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持删除 Running、Stopped 状态的数据流动。删除后，数据流动相关的资源会被释放，且...

CreateDataFlow-创建数据流动

创建一个CPFS文件系统与源端存储的数据流动。接口说明基础操作文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...

CancelDataFlowTask-取消数据流动任务

取消一个未执行状态的数据流动任务。接口说明仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动任务。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Pending（等待）和 Executing（运行中）状态的数据流动...

DescribeDataFlows-查询数据流动列表

查询一个CPFS文件系统的数据流动信息。接口说明仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键（Filters）中，FsetIds、DataFlowlds、SourceStorage、...

CreateDataFlowTask-创建数据流动任务

创建一个数据流动任务。接口说明仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.3.4 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持在 Running（正常）状态的数据流动上创建数据流动任务。数据流动任务是异步执行...

使用硬件DSA进行数据流加速

英特尔®DSA（Data Streaming Accelerator）数据流加速器是一种高性能的数据拷贝和数据转换加速器，已集成在八代神龙SPR机型的处理器中。ack-koordinator对已集成DSA硬件的节点，将自动开启DSA加速功能，用于优化DRAM、持久内存和各种数据...

基于Indexing Service实现数据流管理

本文以 nginx-log 数据流名称为例，其他字段的默认配置符合数据流数据要求，可不修改。在右下角，单击 Apply。获取实时日志流数据。在 Logs 页面，单击 Stream 页签。在页面右侧，单击 Stream live。在 Stream 页签中，查看获取到的实时...

DescribeDataFlowTasks-查询数据流动任务列表

查询数据流动任务。接口说明仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持查询数据流动任务。您可以在控制台文件系统详情页面查看版本信息。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功...

ApplyDataFlowAutoRefresh-添加数据流动自动更新配置

为指定数据流动配置自动更新。接口说明该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持状态为 Running（正常）状态的数据流动添加自动更新配置。一个...

ModifyDataFlowAutoRefresh-修改数据流动自动更新配置

修改数据流动中的自动更新配置。接口说明该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持修改 Running（正常）、Stopped（停止）状态数据流动的自动更新...

示例二：MQTT数据流模式文件上传

MQTT数据流模式适用于未知文件大小的上传，例如边采集边上传的录音文件，无法确定停止时文件的具体大小，可以通过MQTT数据流模式来上传文件。操作步骤初始化MQTT模块。初始化MQTT Upload模块，在 mqtt_upload_stream_send_demo.c 文件中...

CancelDataFlowAutoRefresh-取消数据流动自动更新配置

取消指定数据流动上的自动更新配置。接口说明该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Running（正常）、Stopped（停止）状态数据流动的自动...

JavaSDK实现数据流分片上传的代码样例

但是在实际使用过程中，服务端可能获取的是网络流数据并用来进行分片上传，该方法需要将网络流数据保存为本地文件后，再上传该文件，这便会涉及中转存储的再上传步骤，即非实时的上传。本文主要提供数据流分片上传的实现样例。详细信息 ...

设备影子数据流

设备影子数据通过Topic进行流转，主要包括设备上报状态到设备影子、应用程序更改设备状态、设备离线再上线后主动获取设备影子信息，和设备端请求删除设备影子中的属性信息。本文介绍设备影子Topic及其数据格式。设备影子Topic 物联网平台已...

指定数据流表的物理数据存储在某个Topic上 String topic="log_topic;props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS...

查询推流域名实时流粒度带宽流量数据

调用DescribeLiveStreamPushMetricDetailData查询推流域名实时流粒度推流带宽及流量监控数据。使用说明仅支持单个域名查询，多个域名会报错。数据最大查询跨度：24小时。数据最小查询粒度：1分钟。数据最大查询范围：31天。本接口为监控...

流数据

新品推荐