通过查看OSS-HDFS服务的监控数据,可了解OSS-HDFS元数据操作调用情况和服务资源使用情况。通过为OSS-HDFS服务的重要监控指标设置报警规则,还可以及时得知指标异常并快速处理异常。
注意事项
监控数据可能 存在数分钟的延迟 ,仅供参考,不能作为计量数据。
前提条件
使用RAM用户查看OSS-HDFS服务的监控数据时,请为RAM用户授予管理对象存储服务(OSS)权限(AliyunOSSFullAccess)/只读访问对象存储服务(OSS)(AliyunOSSReadOnlyAccess)、管理云监控(CloudMonitor)的权限(AliyunCloudMonitorFullAccess)/只读访问云监控(CloudMonitor)的权限(AliyunCloudMonitorReadOnlyAccess),并按需完成授权访问OSS-HDFS服务。具体操作,请参见为RAM用户授权。
查看监控数据
可通过以下方式查看OSS-HDFS服务监控数据:
-
OSS管理控制台:支持查看使用带宽、请求次数。
-
云监控控制台:支持查看指定HDFS API的成功请求E2E平均延迟、指定HDFS API的成功请求 QPS。
-
云监控SDK:支持获取全部OSS-HDFS监控指标。更多信息,请参见Metric。
访问OSS-HDFS服务时使用JindoSDK 6.10.1 及以上版本才支持查看其延迟与QPS相关监控指标。
-
阿里云 EMR 环境:请创建EMR-3.55.0 及以上或EMR-5.21.0及以上版本的集群,OSS-HDFS 服务已默认集成。具体操作,请参见创建集群。
-
非 EMR 或自建 Hadoop 环境:需手动部署JindoSDK 6.10.1 及以上版本。具体操作,请分别参见在非EMR集群中部署JindoSDK和创建Hadoop运行环境。
设置监控指标报警
通过云监控控制台设置报警规则后,当触发报警规则时,云监控自动发送报警通知,便于您获悉资源的运行状况,并及时处理异常。
在设置报警规则时,需将规则描述中的维度设置为常用HdfsOperation中的HDFS操作,例如getListing,其他参数按需配置即可。具体操作,请参见使用报警服务。
常用HdfsOperation
|
HdfsOperation |
语义 |
|
getBlockLocations |
获取文件的数据块位置 |
|
getFileInfo |
获取文件信息 |
|
getListing |
list文件 |
|
complete |
关闭文件 |
|
create |
创建和打开文件 |
|
addBlock |
为打开的文件添加数据块 |
|
delete |
删除文件 |
|
mkdirs |
创建目录 |
|
rename |
重命名文件 |