Flume插件
（历史版本可在文末进行下载）解压flume插件并放在${FLUME_HOME}/plugins.d目录下$tar aliyun-flume-datahub-sink-x.x.x.tar.gz$cd aliyun-flume-datahub-sink-x.x.x$mkdir${FLUME_HOME}/plugins.d$mv aliyun-flume-datahub-sink${FLUME_...
Gateway节点运行Flume进行数据同步
本文介绍阿里云EMR-3.17.0及后续版本，如何使用Gateway节点运行Flume从而进行数据同步。背景信息 EMR-3.16.0及后续版本支持Apache Flume。EMR-3.17.0及后续版本提供默认监控等特性。在Gateway节点运行Flume可以避免对E-MapReduce Hadoop...
什么是云拨测
核心优势 多协议支持：云拨测既支持Ping、TCP、Traceroute、HTTP(S)等网络协议监控，也支持基于浏览器的网页性能监控、文件传输速度监控等，能够从多方面主动监控在线业务的可用性和性能。全球监测点：通过分布在全球的监测点，云拨测能够...
应用场景
站点监控 站点监控功能目前仅提供对协议HTTP（HTTPS）、ICMP、TCP、UDP、DNS、SMTP、POP3、FTP的监控设置，可探测您站点的可用性、响应时间和丢包率，让您全面了解站点的可用性并在站点异常时及时处理。自定义监控 如果云监控提供的监控项...
如何使用Prometheus监控Windows
本文介绍如何使用Prometheus监控Windows。前提条件 已将VPC实例接入 可观测监控 Prometheus 版。具体操作，请参见 Prometheus实例 for ECS。使用限制 目前仅Prometheus实例 for ECS类型实例支持该组件接入。Windows Metric监控参考模型 ...
如何使用Prometheus监控Windows
本文介绍如何使用Prometheus监控Windows。前提条件 已将VPC实例接入 可观测监控 Prometheus 版。具体操作，请参见 Prometheus实例 for ECS。使用限制 目前仅Prometheus实例 for ECS类型实例支持该组件接入。Windows Metric监控参考模型 ...
错误码和状态码说明
FTP 610 FTP传输失败。611 其他原因导致的失败，例如：DNS解析失败和TCP连接失败。616 登录失败。703 禁止对服务器进行内网探测。内网探测可以使用 创建可用性监控任务。HTTP协议常用标准状态码说明 状态码 含义 说明 200 请求已完成 2XX...
数据采集概述
云监控数据 导入服务 无 第三方 Logstash Logstash、Kafka协议 无 Flume Flume消费 无 Beats Kafka协议 无 Fluentd Kafka协议 无 Telegraf Kafka协议 无 Loggie Loggie 无 阿里云云产品 ECS、OSS等阿里云产品日志 云产品日志采集 无 选择...
基本概念
报警服务 您可以对主机监控中的监控项、站点监控中的探测点、云产品监控中的实例和自定义监控中的监控项设置报警规则。当监控项满足报警规则时，发送报警通知。监控项 您设置或系统默认的监控数据类型。例如：云服务器ECS的CPU使用率、内存...
概览
本文为您介绍站点监控的含义、典型应用场景和监控类型。站点监控是一款定位于网络探测的监控产品，主要用于通过遍布全国的探测点，发送模拟真实用户访问的探测请求，监控全国各省市运营商网络终端用户到您服务站点的访问情况。计费说明 当...
通过PC端探测目标站点的网络质量
云监控通过站点监控的探测点（请求方）模拟最终用户的访问行为，从而获得各地域探测点到目标地址（监控地址）的访问数据。当您希望通过阿里云网络、运营商网络和海外云服务提供商网络探测目标站点时，用PC端探测。前提条件 请确保您已创建...
概述
Taildir Source：监控目录下的多个文件，记录偏移量，并且不会丢失数据，较为常用。Channel 是Source和Sink之间的缓冲队列。常见Channel如下：Memory Channel：缓存到内存中，性能高，较为常用。File Channel：缓存到文件中，会记录...
BatchCreateInstantSiteMonitor-批量创建站点监控任务
调用BatchCreateInstantSiteMonitor接口批量创建站点监控任务。接口说明 本文将提供一个示例，创建一个站点监控任务 HangZhou_ECS1，该任务的监控地址为 https://www.aliyun.com ，监控类型为 HTTP 。返回结果显示，创建站点监控任务成功，...
CreateSiteMonitor-创建站点监控任务
调用CreateSiteMonitor接口创建站点监控任务。接口说明 本文将提供一个示例，创建一个站点监控任务 HanZhou_ECS1，该监控任务的监控地址为 https://www.aliyun.com 、监控类型为 HTTPS 。调试 您可以在OpenAPI Explorer中直接运行该接口，...
ModifySiteMonitor-修改站点监控任务
调用ModifySiteMonitor接口修改站点监控任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
DescribeSiteMonitorList-查询站点监控任务列表
调用DescribeSiteMonitorList接口查询站点监控任务列表。接口说明 本文将提供一个示例，查询当前账号的站点监控任务列表。返回结果显示，当前账号存在一条站点监控记录 HanZhou_ECS2。调试 您可以在OpenAPI Explorer中直接运行该接口，免去...
数据上云工具
其中数据同步任务支持的数据源类型包括：MaxCompute、RDS（MySQL、SQL Server、PostgreSQL）、Oracle、FTP、ADS（AnalyticDB）、OSS、Memcache和DRDS，详情请参见 数据集成概述。DTS（Tunnel通道系列）什么是数据传输服务DTS 是阿里云提供...
功能特性
数据流转：通过全球加速功能将海外地域的日志传输到中心地域，实现全球日志集中化管理。数据脱敏：对数据中包含的密码、手机号、地址等敏感信息进行脱敏。数据过滤：过滤出关键服务的日志，用于重点分析。更多信息，请参见 数据加工概述。...
将Kafka数据导入JindoFS
Kafka广泛用于日志收集、监控数据聚合等场景，支持离线或流式数据处理、实时数据分析等。本文主要介绍Kafka数据导入到JindoFS的几种方式。常见Kafka数据导入方式 通过Flume导入 推荐使用Flume方式导入到JindoFS，利用Flume对HDFS的支持，...
实时消费概述
Flume 您可以通过Flume实时消费日志服务的数据。具体操作，请参见 Flume消费。Logstash 您可以通过Logstash实时消费日志服务的数据。具体操作，请参见 Logstash消费。QRadar QRadar等安全信息与事件管理系统可以通过HTTPS协议或Syslog协议...
安装第三方插件
安装第三方插件，可以在不修改Flume源码的情况下，以插件的方式定制您需要的功能。例如，添加数据源和存储组件等。通过添加JindoFS SDK的插件，可以支持通过Flume直接将数据写入OSS。本文为您介绍如何安装第三方插件。前提条件 已获取第三...
Flume消费
日志服务支持通过aliyun-log-flume插件与Flume进行对接，实现日志数据的写入和消费。背景信息 aliyun-log-flume是一个实现日志服务与Flume对接的插件，与Flume对接后，日志服务可以通过Flume与其它数据系统如HDFS、Kafka等对接。aliyun-log...
自定义Source
mvn clean package-DskipTests 使用文件传输工具，上传生成的JAR包至Flume的/opt/apps/FLUME/flume-current/lib 目录。说明 非EMR集群时，请上传到您实际Flume的安装目录。新增配置。通过SSH方式登录集群，详情请参见 登录集群。执行以下...
同步EMR Kafka数据至OSS
本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS。前提条件 已开通OSS服务并创建OSS存储空间，详情请参见 开通OSS服务 ...在OSS的 oss:/flume-test/result 路径下会以当前时间的时间戳（毫秒）为后缀生成文件 FlumeData.xxxx。
使用Flume同步EMR Kafka集群的数据至OSS-HDFS服务
本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS-HDFS服务。前提条件 已开通并授权访问OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已创建DataLake集群，并选择了Flume服务。具体操作，请参见 创建集群。已...
同步EMR Kafka数据至HDFS
本文为您介绍如何同步EMR DataFlow集群的数据至EMR DataLake集群的HDFS。...Flume会在HDFS中以当前时间的时间戳（毫秒）生成文件 FlumeData.xxxx。文件内容是在Kafka中输入的数据 abc。hdfs dfs-cat/tmp/flume/test-data/<FlumeData.xxxx>
同步EMR Kafka数据至Hive
本文为您介绍如何使用Flume同步EMR DataFlow集群的数据至EMR DataLake集群的Hive。前提条件 已创建DataLake集群，并且选择了Flume服务，详情请参见 创建集群。已创建DataFlow集群，并且选择了Kafka服务，详情请参见 创建集群。操作步骤 ...
Flume使用JindoSDK写入OSS-HDFS服务
cp${FLUME_HOME}/conf/flume-env.sh.template${FLUME_HOME}/conf/flume-env.sh echo"FLUME_CLASSPATH=usr/lib/jindosdk-x.x.x-linux/lib/*">>${FLUME_HOME}/conf/flume-env.sh 配置Sink。配置Sink示例如下：#配置OSS Sink。your_bucket填写...
同步EMR Kafka数据至OSS-HDFS
本文为您介绍如何使用Flume同步EMR Kafka集群的数据至阿里云OSS-HDFS（JindoFS服务）。背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好...
使用Flume写入JindoFS
Apache Flume是一个分布式、可靠和高可用的系统，用于从大量不同的数据源有效地收集、聚合和移动大量日志数据，进行集中式的数据存储。Flume的核心是Agent，Agent中包含Source、Channel和Sink。本文为您介绍如何使用HDFS Sink写入数据至...
同步EMR Kafka数据至HBase
本文为您介绍如何使用Flume同步EMR Kafka集群的数据至EMR DataServing集群的HBase。前提条件 已创建DataLake集群，并且选择了Flume，详情请参见 创建集群。已创建DataServing集群，详情请参见 创建集群。已创建DataFlow集群，并且选择了...
自定义Sink
mvn clean package-DskipTests 使用文件传输工具，上传生成的JAR包至Flume的/opt/apps/FLUME/flume-current/lib 目录。说明 非EMR集群时，请上传到您实际Flume的安装目录。新增配置。通过SSH方式登录集群，详情请参见 登录集群。执行以下...
常见问题
本文汇总了Flume使用时的常见问题。Hive日志数量少于实际日志数量？终止Flume进程时出现DeadLock报错，如何处理？如何处理强制退出后，FileChannel偶发性异常？Hive日志数量少于实际日志数量？问题现象：通过Flume将日志写入Hive，发现Hive...
同步HDFS Audit日志至HDFS
EMR Flume支持多种服务启动方式，本文介绍通过E-MapReduce（简称EMR）控制台修改Flume配置并启动Flume Agent，继而实时同步HDFS Audit日志至HDFS。前提条件 已创建DataLake集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 进入...
同步LogHub数据至HDFS
本文介绍如何使用E-MapReduce（简称EMR）的Flume实时同步日志服务（LogHub）的数据至E-MapReduce集群的HDFS，并根据数据记录的时间戳将数据存入HDFS相应的分区中。背景信息 您可以借助日志服务的Logtail工具，将需要同步的数据实时采集并...
管理站点监控任务
创建站点监控任务后，您可以查看其详情，并对其执行修改、删除、禁用和启用操作。查看站点监控任务 您可以查看其任务详情、监控分析和报警规则，便于您及时查看站点的异常数据，并处理故障。登录 云监控控制台。在左侧导航栏，选择 网络...
什么是云监控
云监控（CloudMonitor）是一项针对阿里云资源和互联网应用进行监控的服务。云监控为云上用户提供开箱即用的企业级开放型一站式监控解决方案。云监控涵盖IT设施基础监控和外网网络质量拨测监控，是基于事件、自定义指标和日志的业务监控，为...
网络监控
云监控通过安装在阿里云主机（ECS实例）和非阿里云主机上的云监控插件，采集网络监控的网卡带宽、网卡流入包数、网卡错误包数和网络连接数等监控指标的监控数据，您还可以为这些监控指标设置报警规则。当某个监控指标达到报警条件时，会给...
概览
企业云监控针对企业级应用场景为用户提供一站式的监控解决方案。目前企业云监控包括监控大盘、秒级监控、智能水位分析和实时数据导出。开通企业云监控 当您首次使用企业云监控时，需要单独开通。具体操作，请参见 开通企业云监控。应用场景...
概览
自定义监控为您提供了自定义监控项和报警规则的功能，您可以通过上报监控数据接口，将自己关心的业务指标上报至云监控，并在云监控上添加监控图表和设置报警规则，对于故障指标发送报警通知，便于您及时处理故障，保障业务的正常运行。...
- 产品推荐
- 这些文档可能帮助您