查询推流域名推流网络带宽监控数据
调用DescribeLiveDomainPushBpsData获取推流域名的推流网络带宽监控数据。使用说明 获取的带宽数据单位为bit/s。支持批量域名查询，多个域名用英文逗号（,）分隔。不指定StartTime和EndTime时，默认读取过去24小时的数据，同时支持按指定的...
网络访问与安全设置
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
ECS资源监控中网络流量显示无数据
问题描述 在某时间段内，ECS实例详情页面，监控信息 中 网络（外网）显示 暂无数据，CPU使用率 监控正常。重启ECS实例后 网络（外网）恢复数据显示。问题原因 ECS内部发生异常时，ERP软件服务不可用，ERP软件服务无法连接。解决方案 说明 ...
DescribeDcdnDomainTrafficData-查询网络流量监控数据
调用DescribeDcdnDomainTrafficData查询域名的网络流量监控数据。接口说明 不指定 StartTime 和 EndTime，默认返回过去 24 小时的数据；指定 StartTime 和 EndTime，返回指定起止时间的数据。单用户调用频率：100 次/秒。支持查询的时间...
推流SDK进行RTS推流指南
本文介绍不同网络环境下两种推流协议的数据对比，可以发现RTS推流相对于RTMP推流稳定性和抗弱网有显著提升，建议用户优先使用RTS推流。推流SDK内部已做了自动降级处理，当RTS推流出现问题时，会自动降级到RTMP推流。正常网络和弱网环境下推...
基础设施安全
网络ACL与安全组 与交换机绑定的网络ACL规则控制流入和流出交换机的数据流，与ECS实例相关的安全组规则控制流入和流出ECS实例的数据流。网络ACL和安全组的基本差异如下表所示。对比项 网络ACL 安全组 功能 通过自定义设置网络ACL规则，并将...
网络ACL概述
网络ACL与安全组 与交换机绑定的网络ACL规则控制流入和流出交换机的数据流，与ECS实例相关的安全组规则控制流入和流出ECS实例的数据流。网络ACL和安全组的基本差异如下表所示。对比项 网络ACL 安全组 运行范围 在交换机级别运行。在ECS实例...
心选市场售卖
本文介绍如何购买流数据服务Confluent商品。购买流程 在阿里云云市场流数据服务Confluent商品售卖页中点击“立即购买”，跳转至流数据服务Confluent集群创建管控页。在流数据服务Confluent集群创建管控页进行集群配置和商品购买。操作步骤 ...
开通消息引擎
在 选择数据引擎 部分，按需选择 流数据节点规格 与 流数据节点数量。创建实例后开通消息引擎 在 实例列表 点击对应实例，进入 实例详情 页面，在左侧菜单选择 流引擎 标签页，点击 立即开通 按钮。在购买页面按需选择 流数据节点规格 与 ...
包年包月
本文介绍使用流数据服务Confluent包年包月模式下的注意事项。包年包月计费是一种需要先付费才能使用资源的计费方式，主要适用于长时间稳定的业务运行场景。您需要根据实际业务量分析资源的使用需求，一次性支付一个月或者多个月的费用。...
产品简介
本文介绍什么是流数据服务Confluent（Confluent Data Streaming Services）。什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache ...
产品优势
本文介绍流数据服务Confluent的产品优势。流数据服务Confluent使客户的流处理服务享受Confluent platform的企业级特性。以下介绍Confluent的业界优势：Confluent是Apache Kafka的原创者开发的产品。Confluent团队撰写提交了80%的Kafka代码...
开通数据订阅
操作步骤 数据订阅功能需要在控制台完成两次开通操作，分别购买流数据节点和LTS节点。购买流数据节点 说明 如果您的实例已开通流引擎，则不涉及该步骤。登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击...
常见问题
本文档根据实践，介绍了本案例中比较常见的两个问题及解决方法。...可能原因：您的RDS数据库与流计算项目不在同一区域。...参考文档：【流数据与大屏DataV】如何使用DTS，DataHub，StreamCompute，RDS及DataV搭建流数据大屏。
ACL授权
本文介绍如何在流数据服务Confluent上使用ACL授权。背景信息 ACL的全称是Access Control Lists，指访问控制列表。这种授权方式比RBAC授权粒度更细。ACL授权主要有两种方式：使用数据流服务Confluent控制台实现ACL授权。本文详细介绍这一...
Control Center基本使用
Control Center是流数据服务Confluent的核心管理服务，提供了一个可视化的监控平台。本文介绍Control Center平台上的基本操作。详细的Control Center用户指南请参见 Control Center官方文档。登录Control Center 创建阿里云Confluent集群，...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
用户管理
查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入某个集群详情页>用户管理Tab页，在这里您可以查看所有用户的列表。新增用户 点击“添加LDAP用户”按钮添加新用户。注意 反复添加同一个名称的用户，只有第一次会添加...
集群资源规格评估建议
本文介绍流数据服务Confluent集群配置资源规格评估建议。对于流数据服务Confluent集群来说，影响资源使用的因素众多，其中包括使用的业务场景、业务应用程序性能等非流数据服务Confluent服务控制因素，因此给出确切的资源规模评估是一件...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
查看连接地址
专有网络 公网 JAR作业开发实践 Hive Metastore地址 通过SQL访问Hive数据（连接地址为图示中③）Lindorm 专有网络 访问Hive数据 查看流引擎连接地址 查看流引擎的连接地址前，请确保已开通Lindorm流引擎。如果您需要使用公网地址连接流引擎...
CREATE STREAM
数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With语句中指定。语法 CREATE STREAM(IF NOT ...
数据传输与迁移概述
流数据同步任务写入 DataHub数据同步MaxCompute。KafKa数据同步MaxCompute。自定义写入 SDK写入-流式数据通道（Streaming Tunnel）。离线数据批量数据写入（外表-湖仓一体）场景特征：主要用于数据联邦查询分析，偶尔需要对数据进行搬运。...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
DataHub数据源
topic":"",/Topic是DataHub订阅和发布的最小单位，您可以用Topic来表示一类或者一种流数据。maxRetryCount":500,/任务失败的重试的最多次数。maxCommitSize":1048576/待积累的数据Buffer大小达到maxCommitSize大小（单位Byte）时，批量...
DROP STREAM
删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;
使用ETL分析实时订单
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。案例背景 本案例将为您演示如何使用流式ETL功能，将实时交易数据（订单号、客户ID、产品/商品编码...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
添加ClickHouse数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
内置时空数据引擎Ganos
提供拓扑网络路径分析和大规模点云存储与查询支持 Ganos所包含的几何网络数据库引擎支持Node-Edge拓扑网络构建，支持Turn、U-Turn等概念，支持TSP（旅行商问题）、KSP（多条线路最短路径）、TRSP（转向限制的最短路径）等一系列路径规划...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
CREATE STREAM
数据流表仅支持新增数据，不支持更新数据和删除数据。本文介绍如何通过DDL语句创建流表。语法 CREATE STREAM[IF NOT EXISTS][catalog_name.][db_name.]stream_name({|<metadata_column_definition>}[,.n][][,.n])[COMMENT table_comment]...
- 产品推荐
- 这些文档可能帮助您