AI 助理
文档备案控制台
官方文档
首页

JSON格式

更新时间：
复制 MD 格式
产品详情
我的收藏

日志服务将数据投递到OSS后，支持存储为不同的文件格式。本文介绍JSON格式。

参数配置

在创建OSS投递任务（新版）时，如果选择存储格式为json，对应的参数配置如下表所示。

参数

说明

是否投递tag

是否投递日志tag字段，例如__tag__:abc。

OSS文件地址

投递到OSS后，OSS文件地址样例如下。

说明

  • 在创建OSS投递任务时，如果您自定义了文件后缀，则文件后缀由您自定义的后缀决定。

  • 在创建OSS投递任务时，如果您未自定义文件后缀，则文件后缀由压缩类型决定。

压缩类型

文件后缀

OSS文件地址示例

说明

不压缩

如果您自定义了文件后缀，则以您的设置为准，例如.json。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

未压缩的JSON文件可下载到本地，以文本方式打开查看。文件样例如下所示。

{"__time__":"1453809242","__topic__":"","__source__":"10.170.***.***","ip":"10.200.**.***","time":"26/Jan/2016:19:54:02 +0800","url":"POST
              /PutData?Category=YunOsAccountOpLog&AccessKeyId=<yourAccessKeyId>&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=<yourSignature>
              HTTP/1.1","status":"200","user-agent":"aliyun-sdk-java"}

如果未自定义文件后缀，则无文件后缀。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937

压缩（snappy）

如果您自定义了文件后缀，则以您的设置为准，例如.json。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

使用snappy压缩、解压缩的详细说明，请参见解压Snappy压缩文件。

问题：

如果使用了snappy压缩且通过EMR的hive读取文件时，可能会报如下错误：

Failed with exception java.io.IOException:java.lang.ArrayIndexOutOfBoundsException

解决方案：

请先执行语句：io.compression.codec.snappy.native=true; ，再进行查询操作。EMR的hive其他相关问题，请提工单解决。

如果未自定义文件后缀，则文件后缀为.snappy。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy

压缩（gzip）

如果您自定义了文件后缀，则以您的设置为准，例如.json。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

如果使用了gzip压缩，则您可以安装并使用gzip命令进行解压。

如果未自定义文件后缀，则文件后缀为.gz。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz

压缩（zstd）

如果您自定义了文件后缀，则以您的设置为准，例如.json。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json

如果使用了zstd压缩，则您可以安装并使用zstd命令进行解压。

如果未自定义文件后缀，则文件后缀为.zst。

oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst
上一篇：创建OSS投递任务（新版）下一篇：CSV格式