Jindo AuditLog提供块存储模式的审计功能,记录Namespace端的增加、删除和重命名操作信息。
背景信息
AuditLog可以分析Namespace端访问信息、发现异常请求和追踪错误等。JindoFS AuditLog存储日志文件至OSS,单个Log文件不超过5 GB。基于OSS的生命周期策略,您可以自定义日志文件的保留天数,清理策略等。因为JindoFS AuditLog提供分析功能,所以您可以通过Shell命令分析指定的日志文件。
审计信息
审计信息示例。
2020-07-09 18:29:24.689 allowed=true ugi=hadoop (auth:SIMPLE) ip=127.0.0.1 ns=test-block cmd=CreateFileletRequest src=jfs://test-block/test/test.snappy.parquet dst=null perm=::rwxrwxr-x块存储模式记录的审计信息参数如下所示。
| 参数 | 描述 |
|---|---|
| 时间 | 时间格式yyyy-MM-dd hh:mm:ss.SSS。 |
| allowed | 本次操作是否被允许:
|
| ugi | 操作用户(包含认证方式信息)。 |
| ip | Client IP。 |
| ns | 块存储模式Namespace的名称。 |
| cmd | 操作命令。 |
| src | 源路径。 |
| dest | 目标路径,可以为空。 |
| perm | 操作文件Permission信息。 |
使用AuditLog
使用Jindo auditLog分析功能
JindoFS为存储在OSS上的AuditLog文件提供Shell命令的分析功能,通过MR任务分析Log文件,提供Top-N活跃操作命令分析、Top-N活跃IP分析。您可以使用jindo auditlog命令,使用该功能。
Jindo Auditlog的参数说明如下表。
| 参数 | 描述 | 是否必填 |
|---|---|---|
| --src | 存储AuditLog的OSS Bucket。默认为步骤3中namespace.auditlog.oss.uri的值,您也可以自定义该参数。 | 否 |
| --ns | 指定待分析的Namespace。默认为block模式下所有ns。 | 否 |
| --type | 指定分析:
|
是 |
| --min | 指定时间范围,分钟级别。 | 否
说明 --min和--day,需要二选一。
|
| --day | 指定时间范围,天级别。
day 1,表示当天。 |
在E-MapReduce控制台,创建MR类型作业,作业内容示例如下。
jindo auditlog --src oss://<yourbucket>/auditlog/ --ns test --type ip --day 1 --top 2返回信息如下。
16 openFileStatusRequest
6 deleteFileletRequest