NLB高精度秒级监控
查看秒级监控分析 单击 秒级监控分析 页签，可以查看 NLB 秒级监控的指标分析。修改日志存储设置 单击 设置 页签，然后在 日志存储设置 区域单击 修改，可以修改 项目Project 和 日志库Metricstore。查看秒级监控账单 单击 查看秒级监控...
客户案例
客户需求 基于Hadoop开源生态打造，软硬件维护成本高昂，稳定性问题不断，严重影响业务经营分析。线上业务爆发，需求积压严重，期望有整体解决方案，能够快速灵活支持业务发展所需的技术扩展。价值体现 通过MMA工具，15天完成400TB+历史...
应用场景
您可以实时收集网站活动数据（例如注册、登录、充值、支付、购买），根据业务数据类型将消息发布到不同的Topic，然后利用订阅消息的实时投递，将消息流用于实时处理、实时监控或者加载到Hadoop、MaxCompute等离线数据仓库系统进行离线处理...
Hadoop Yarn RPC 0 Day在野利用分析与传播手段披露
漏洞利用分析 Hadoop Yarn RPC未授权访问漏洞存在于Hadoop Yarn中负责资源管理和任务调度的ResourceManager，成因是该组件为用户提供的RPC服务默认情况下无需认证即可访问，因此RPC服务暴露在公网上是非常危险的。RPC服务利用这一问题会...
东软案例
企业面向客户、合作伙伴和内部员工建设IT系统及应用复杂度和数量会随着产品智能、互联化的深入持续增长，对映可用性保障运维监控采集数据采集种类，以及需要存储的数据量同步激增，现有监控系统基于RRD数据库或关系数据库搭建的单模引擎的...
快速入门
部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 文件存储 HDFS 版 服务。具体操作，请参见 开通文件存储HDFS版服务。已购买ECS实例。更多信息，请参见 选购ECS...
Teamtnt变种攻击Hadoop集群
系统信息 无 无 无 漏洞利用分析 Hadoop Yarn作为其核心组件之一，负责将资源分配至各个集群中运行各种应用程序，并调度不同集群节点上的任务执行，攻击者通过REST API携带恶意命令即可进行远程命令执行。攻击者不仅沿用了之前的恶意域名...
管理站点监控任务
在 监控分析 页面，您可以查看站点监控任务的 散点图分析、地域探测分析、运营商探测分析 和 探测错误分析。在 报警规则 页面，您可以查看站点监控任务的报警规则，并对报警规则执行修改、删除、停用和启用操作。修改站点监控任务 当已有...
最佳实践概览
Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 使用阿里云Elasticsearch监控RabbitMQ 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 查询分析RocketMQ客户端...
监控预警
成本监控和预警有助于发现成本问题和成本优化机会点，因此企业应该通过各种监控工具对成本数据和资源数据进行有效监控，并通过预警的方式通知到相关的运维人员或财务人员，从而对发现的问题或优化机会进行跟踪处理，避免预期外费用、优化...
基于Hadoop集群支持Delta Lake或Hudi存储机制
步骤三：基于MaxCompute实时分析Hadoop集群数据 基于已创建的MaxCompute项目以及Hadoop集群表数据，创建External Project，用于Hadoop集群，并映射至已创建的MaxCompute项目。后续可通过映射的MaxCompute项目对External Project进行数据...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
开始监控支付宝小程序
说明 小程序监控项目如需使用hookApp、hookPage嵌入生命周期打点，必须符合标准小程序关于App和Page的规范，即App层有 onError，Page层有 onShow、onHide、onUnload。使用方法示例，请参见 基础使用方法。API方法：其他设置API 方法 参数 ...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
开始监控微信小程序
说明 小程序监控项目如需使用hookApp、hookPage嵌入生命周期打点，必须符合标准小程序关于App和Page的规范，即App层有 onError，Page层有 onShow、onHide、onUnload。使用方法示例，请参见 基础使用方法。API方法：其他设置API 方法 参数 ...
快速入门
当您使用阿里云Elasticsearch时，系统会为您自动开通高级监控报警服务，并将您账号下的存量和新购Elasticsearch实例接入监控报警服务。本文为您介绍如何查看与配置可视化监控，以及如何配置日志报警规则和指标报警规则。背景信息 高级监控...
使用API查询监控数据
大型企业内部通常有自建的运维监控系统，上云过程中会面临如何将云资源监控数据与已有系统集成的问题。下面本文将为您介绍如何通过云监控接口查询各产品监控数据，从而将阿里云的监控数据与现有系统进行集成。指标类监控数据查询的接口 云...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
离线任务监控概述
离线任务监控页面介绍 在离线监控配置页面，您可以单击 任务监控 或 字段监控、项目监控 页签，查看已生成的监控报警规则。任务监控页面 任务监控页面展示已配置的任务监控的监控对象、报警原因、创建人、接收人（类型）、接收方式、最近...
离线任务监控概述
离线任务监控页面介绍 在离线监控配置页面，您可以单击 任务监控 或 字段监控、项目监控 页签，查看已生成的监控报警规则。任务监控页面 任务监控页面展示已配置的任务监控的监控对象、报警原因、创建人、接收人（类型）、接收方式、最近...
如何使用Prometheus监控Nebula
每套完整的自建监控系统都需要安装并配置Prometheus、Grafana、AlertManager等，其过程复杂、实施周期长。缺少与阿里云ECS快速集成的服务发现（ServiceDiscovery）机制，因此无法根据ECS标签来灵活定义抓取Targets。如果自行实现类似功能，...
如何使用Prometheus监控Nebula
每套完整的自建监控系统都需要安装并配置Prometheus、Grafana、AlertManager等，其过程复杂、实施周期长。缺少与阿里云ECS快速集成的服务发现（ServiceDiscovery）机制，因此无法根据ECS标签来灵活定义抓取Targets。如果自行实现类似功能，...
如何使用Prometheus监控TiDB
每套完整的自建监控系统都需要安装并配置Prometheus、Grafana、AlertManager等，其过程复杂、实施周期长。缺少与阿里云ECS快速集成的服务发现（ServiceDiscovery）机制，因此无法根据ECS标签来灵活定义抓取Targets。如果自行实现类似功能，...
操作系统监控
云监控通过安装在阿里云主机（ECS实例）和非阿里云主机上的云监控插件，为您采集丰富的操作系统层面的监控指标，您可以为操作系统监控指标设置报警规则。当某个监控指标达到报警条件时，会给您发送报警通知，以便您及时关注其动态。前提...
如何使用Prometheus监控TiDB
每套完整的自建监控系统都需要安装并配置Prometheus、Grafana、AlertManager等，其过程复杂、实施周期长。缺少与阿里云ECS快速集成的服务发现（ServiceDiscovery）机制，因此无法根据ECS标签来灵活定义抓取Targets。如果自行实现类似功能，...
性能优化最佳实践
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
元数据性能测试
配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 网络带宽：1.5 Gbps 文件存储 HDFS 版 配置 实例大小：10 TB 吞吐限速：1000 MB/s 软件配置 Apache Hadoop：Hadoop 2.7.6 测试工具 NNbench是Hadoop系统自带的基准...
快速入门
背景信息 在阿里云Elastic Stack产品生态下，Elasticsearch作为实时分布式搜索和分析引擎，Logstash采集、转换、优化和输出数据，Beats从各个机器和系统采集数据，高级监控报警服务提供Elasticsearch集群各类指标信息的监控，帮助您及时...
快速构建主机监控能力
主机监控是维护和管理IT系统的重中之重，您可以借助云监控快速构建主机监控能力。对于已安装云监控插件的阿里云主机（ECS实例），您可以通过 主机监控 以可视化的方式查看其监控数据，也可以通过一键报警为主机的关键指标快速设置报警规则...
插件概览
云监控的主机监控服务通过在主机上安装云监控插件，为您提供主机的系统监控服务。插件版本 云监控插件共有三个版本，从前往后依次为Java、Go和C++版本，当前最新版本为C++版本。由于C++版本的云监控插件比Go和Java版本占用的CPU和内存资源...
分析平台设置
Dataphin分析平台设置为使用分析平台的前提条件。包含分析平台专用的计算源设置、临时表生命周期设置、数据结果下载及审批设置。本文将为您介绍如何进行分析平台设置。前提条件 已完成计算源创建，具体操作，请参见 计算源概述。说明 分析...
2021年
v2.8.1.1 2021年07月 模块 功能名称 功能概述 发布时间 支持地域 版本号 容器监控 新增国际地域 阿里云容器监控新增以下6个地域：新加坡 印度尼西亚（雅加达）日本（东京）美国（硅谷）美国（弗吉尼亚）德国（法兰克福）容器监控支持的所有...
插件配置概述
全部 安装、卸载 repository-hdfs Hadoop分布式文件系统HDFS（Hadoop Distributed File System）存储库插件，提供了对HDFS存储库的支持。全部 安装、卸载 sql SQL查询插件。5.5.3 安装、卸载 x-pack Elasticsearch的一个商业版扩展包，将...
Spark Connector
在Spark的 conf 目录下创建 spark-defaults.conf 文件：cd$SPARK_HOME/conf vim spark-defaults.conf 文件内容示例如下：#在spark-defaults.conf配置账号 spark.hadoop.odps.project.name=doc_test spark.hadoop.odps.access.id=L*spark....
2022年
v2.8.7 Prometheus监控 新增Windows Exporter监控 收集CPU、内存、磁盘、网络进程等指标，提供全面的Windows系统监控。更多信息，请参见 如何使用Prometheus监控Windows。请参见 可观测监控 Prometheus 版目前支持的地域。v2.8.7 云拨测 ...
DataWorks On EMR使用说明
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。详情请参见：E-MapReduce产品概述。支持的...
添加并使用日志服务SLS数据源
通过Grafana强大的实时数据分析和可视化功能，您可以实时监控SLS的日志数据，以便优化系统性能。本文介绍如何将SLS日志数据同步至Grafana 8.2.x中，并使用SLS数据源创建大盘面板。前提条件 已创建SLS Project。具体操作，请参见 创建项目...
日志报警
高级监控报警服务为您所有区域的Elasticsearch集群提供全维度指标和日志监控分析服务，不仅为您提供了多个维度下的可视化监控数据，还支持您根据业务需要自定义监控大屏和报警规则。本文为您介绍如何使用日志报警功能配置报警。前提条件 ...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
- 产品推荐
- 这些文档可能帮助您