Jindo AuditLog提供块存储模式的审计功能,记录Namespace端的增加、删除和重命名操作信息。
背景信息
AuditLog可以分析Namespace端访问信息、发现异常请求和追踪错误等。JindoFS AuditLog存储日志文件至OSS,单个Log文件不超过5 GB。基于OSS的生命周期策略,您可以自定义日志文件的保留天数,清理策略等。因为JindoFS AuditLog提供分析功能,所以您可以通过Shell命令分析指定的日志文件。
审计信息
审计信息示例。
2020-07-09 18:29:24.689 allowed=true ugi=hadoop (auth:SIMPLE) ip=127.0.0.1 ns=test-block cmd=CreateFileletRequest src=jfs://test-block/test/test.snappy.parquet dst=null perm=::rwxrwxr-x
块存储模式记录的审计信息参数如下所示。
参数 | 描述 |
---|---|
时间 | 时间格式yyyy-MM-dd hh:mm:ss.SSS。 |
allowed | 本次操作是否被允许:
|
ugi | 操作用户(包含认证方式信息)。 |
ip | Client IP。 |
ns | 块存储模式Namespace的名称。 |
cmd | 操作命令。 |
src | 源路径。 |
dest | 目标路径,可以为空。 |
perm | 操作文件Permission信息。 |
使用AuditLog
使用Jindo auditLog分析功能
JindoFS为存储在OSS上的AuditLog文件提供Shell命令的分析功能,通过MR任务分析Log文件,提供Top-N活跃操作命令分析、Top-N活跃IP分析。您可以使用jindo auditlog
命令,使用该功能。
Jindo Auditlog的参数说明如下表。
参数 | 描述 | 是否必填 |
---|---|---|
--src | 存储AuditLog的OSS Bucket。默认为步骤3中namespace.auditlog.oss.uri的值,您也可以自定义该参数。 | 否 |
--ns | 指定待分析的Namespace。默认为block模式下所有ns。 | 否 |
--type | 指定分析:
|
是 |
--min | 指定时间范围,分钟级别。 | 否
说明 --min和--day,需要二选一。
|
--day | 指定时间范围,天级别。
day 1,表示当天。 |
在E-MapReduce控制台,创建MR类型作业,作业内容示例如下。
jindo auditlog --src oss://<yourbucket>/auditlog/ --ns test --type ip --day 1 --top 2
返回信息如下。
16 openFileStatusRequest
6 deleteFileletRequest