StopDataFlow-停用数据流动
停用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能停用 Running（正常）状态的数据流动。停用后，不可在数据流动上创建数据流动...
StartDataFlow-启用数据流动
启用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能启动 Stopped（停止）状态的数据流动。当 DryRun 为 true 时，可校验启动该...
使用硬件DSA进行数据流加速
本文介绍如何使用硬件DSA进行数据流加速。索引 前提条件 DSA加速功能的优势 使用DSA加速功能 验证DSA加速功能 前提条件 已创建ACK Pro集群，且集群版本为1.18及以上版本。具体操作，请参见 创建Kubernetes托管版集群。已通过kubectl连接...
数据流管理
注意事项 Indexing Service 按照写入托管索引总大小和写入流量进行按量计费，业务上建议使用数据流（Data Stream）和索引生命周期管理（ILM）滚动策略实现云端托管空间最优化。Indexing Service托管索引默认3天将自动取消托管，请根据具体...
管理数据流动
在数据流动的使用过程中，不能删除和修改该标签，否则CPFS智算版文件系统数据流动无法访问Bucket的数据。更多信息，请参见 OSS Bucket设置标签。如果多个CPFS智算版文件系统的数据流动，或者同一个CPFS智算版文件系统的多个数据流动的源端...
管理数据流动
在数据流动的使用过程中，不能删除和修改该标签，否则CPFS数据流动无法访问Bucket的数据。更多信息，请参见 OSS Bucket设置标签。如果多个CPFS的数据流动、或者同一个CPFS的多个数据流动的源端存储是同一个OSS Bucket，为了防止多个数据...
数据流动概述
使用限制 数据流动 仅CPFS智算版2.4.0及以上版本支持数据流动。单个CPFS智算版文件系统最多支持创建10个数据流动。单个CPFS智算版文件系统的文件路径只能与一个OSS Bucket链接。CPFS智算版文件系统不支持与其他区域的OSS Bucket创建数据...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
数据流动概述
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
查询混流转码用量数据
StartTime String 是 2022-10-10T20:00:00Z 获取数据起始时间点，日期格式按照ISO8601表示法，并使用UTC时间，格式为：YYYY-MM-DDThh:mm:ssZ。EndTime String 是 2022-10-10T21:00:00Z 结束时间需大于起始时间，查询粒度≥5分钟且≤31天；...
基于Indexing Service实现数据流管理
在阿里云Elasticsearch 7.10内核增强版Indexing Service系列中，推荐使用 数据流管理，可以帮您实现跨多索引存储仅追加时间序列数据，为请求提供唯一的命名资源；并且您可以根据关联的索引模板和Rollover策略实现自动取消托管，从而达到...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS智算版文件系统的数据流动任务及查看任务报告。前提条件 已创建数据流动。具体操作，请参见 创建数据流动。任务说明 数据流动任务可分为导入（Import）和导出（Export）两种类型。类型 说明 ...
管理数据流动任务
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
CreateDataFlow-创建数据流动
在数据流动的使用过程中，不能删除和修改该标签，否则 CPFS 智算版数据流动无法访问 Bucket 的数据。数据流动对文件系统的限制 在数据流动关联的文件系统路径中，不可对非空目录执行重命名操作，否则报错 Permission Denied 或者目录非空。...
ModifyDataFlow-修改数据流动
修改数据流动的属性。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。仅支持状态为 Running（正常）状态的数据流动修改属性。修改数据流动一般耗时 2~5 分钟，您可以通过 DescribeDataFlows 查询...
ModifyDataFlowAutoRefresh-修改数据流动自动更新配置
修改数据流动中的自动更新配置。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持修改 Running（正常）、Stopped（停止）状态数据流动的自动更新...
流数据分析相关问题
本章描述流数据分析及其任务相关的一些常见问题。查看任务运行状态 在远程控制台执行如下命令：/linkedge/gateway/build/bin/lectl sc show 系统返回类似如下内容，若 running 参数值为 true，则表示任务正在运行中。TOTALCOUNT 02=-01-ID:...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
魔笔使用中DataGrid的自定义逻辑流加载数据页面显示很...
问题描述 魔笔使用中DataGrid的自定义逻辑流加载数据页面显示很慢。问题原因 一次性加载很多数据，DataGrid 显示就会慢，这个是符合预期的。解决方案 可以采用分页的能力去加载数据，或者采用实体数据源。
设备影子数据流
设备影子数据通过Topic进行流转，主要包括设备上报状态到设备影子、应用程序更改设备状态、设备离线再上线后主动获取设备影子信息，和设备端请求删除设备影子中的属性信息。本文介绍设备影子Topic及其数据格式。设备影子Topic 物联网平台已...
JavaSDK实现数据流分片上传的代码样例
但是在实际使用过程中，服务端可能获取的是网络流数据并用来进行分片上传，该方法需要将网络流数据保存为本地文件后，再上传该文件，这便会涉及中转存储的再上传步骤，即非实时的上传。本文主要提供数据流分片上传的实现样例。详细信息 ...
分配流数据分析到边缘实例
本文介绍创建流数据分析任务、发布任务和分配流数据分析任务到边缘实例的整个步骤。前提条件 请您确保已创建完成边缘实例，具体操作请参见 专业版环境搭建。操作步骤 登录 数据分析控制台。创建、设置并发布流数据任务。具体操作，请参见 ...
流数据服务Confluent对比开源Kafka
本文介绍流数据服务Confluent相较于开源Kafka具备哪些优势。流数据服务Confluent vs Kafka的具体优势如下：特性 Apache Kafka Confluent Platform 提供Connect和Streams组件 支持 支持 多编程语言开发 Client：C++，Python，Go，以及.NET ...
CreateDataFlowTask-创建数据流动任务
创建一个数据流动任务。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.3.4 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持在 Running（正常）状态的数据流动上创建数据流动任务。数据流动任务是异步执行...
DeleteDataFlow-删除数据流动
删除一个数据流动。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持删除 Running、Stopped 状态的数据流动。删除后，数据流动相关的资源会被释放，且...
DescribeDataFlows-查询数据流动列表
查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键（Filters）中，FsetIds、DataFlowlds、SourceStorage、...
CancelDataFlowTask-取消数据流动任务
取消一个未执行状态的数据流动任务。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动任务。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Pending（等待）和 Executing（运行中）状态的数据流动...
DescribeDataFlowTasks-查询数据流动任务列表
查询数据流动任务。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持查询数据流动任务。您可以在控制台文件系统详情页面查看版本信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功...
ApplyDataFlowAutoRefresh-添加数据流动自动更新配置
为指定数据流动配置自动更新。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持状态为 Running（正常）状态的数据流动添加自动更新配置。一个...
CancelDataFlowAutoRefresh-取消数据流动自动更新配置
取消指定数据流动上的自动更新配置。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。仅支持取消 Running（正常）、Stopped（停止）状态数据流动的自动...
场景四：使用访问密钥完成同账号数据流转
背景信息 同账号场景下，使用RAM用户创建数据加工任务，RAM用户S需要具有源Logstore的读数据权限，RAM用户T需要具有目标Logstore的写权限。该场景下的授权原理如下图所示。步骤一：获取RAM用户S和RAM用户T的AccessKey 使用阿里云账号登录 ...
场景五：使用访问密钥完成跨账号的数据流转
背景信息 跨账号场景下，使用RAM用户创建数据加工任务，RAM用户S需要具有源Logstore的读数据权限，RAM用户T需要具有目标Logstore的写权限。该场景下的授权原理如下图所示。步骤一：使用阿里云账号1获取RAM用户S的AccessKey 使用阿里云账号1...
场景二：使用自定义角色完成同账号数据流转
背景信息 同账号场景下，使用RAM用户创建数据加工任务，角色A需要具有源Logstore的读数据权限，角色B需要具有目标Logstore的写权限。该场景下的授权原理如下图所示。步骤一：使用阿里云账号创建角色A 使用阿里云账号登录 RAM控制台。创建...
场景三：使用自定义角色完成跨账号数据流转
背景信息 跨账号场景下，使用RAM用户创建数据加工任务，角色A需要具有源Logstore的读数据权限，角色B需要具有目标Logstore的写权限。因为数据加工任务运行于阿里云账号1之下，您需要修改阿里云账号2下角色B的信任策略对阿里云账号1进行授信...
通过流引擎实现交易数据实时统计
创建数据流表。通过Lindorm-cli连接Lindorm流引擎，具体操作请参见 通过Lindorm-cli连接并使用Lindorm流引擎（旧接口不推荐）。CREATE STREAM IF NOT EXISTS orders(`biz` STRING,`order_id` STRING,`price` DOUBLE,`detail` STRING,`...
使用Logstash（流式数据传输）
您可以通过Logstash的输出插件 logstash-output-maxcompute，将Logstash收集的日志数据使用MaxCompute流式数据通道（Streaming Tunnel）功能上传到MaxCompute。前提条件 在执行操作前请确认您已完成如下操作：已安装 Logstash 并创建...
- 产品推荐
- 这些文档可能帮助您