本文介绍通过JindoSDK接入OSS-HDFS服务的常见问题和解决方法。
如何关闭OSS-HDFS客户端INFO级别的日志?
通过JindoSDK接入OSS-HDFS服务后,默认情况下会记录连接与操作日志、错误与异常日志,调试信息等详细日志。如果您希望关闭OSS-HDFS客户端INFO级别的日志,请执行以下步骤。
打开日志配置文件。
vim $HADOOP_CONF_DIR/log4j.properties
说明$HADOOP_CONF_DIR
是一个环境变量,通常指向Hadoop配置文件所在的目录,例如/etc/hadoop
或其他自定义路径。添加日志配置。
log4j.logger.com.aliyun.jindodata=WARN
说明通过设置日志级别为WARN,则OSS-HDFS客户端的WARN及以上级别的消息会被记录,INFO及以下级别的消息将不被记录。
保存更改并重新启动应用程序,以使新的日志配置生效。
JindoSDK版本支持说明
为确保功能完整性和性能体验,强烈建议通过JindoSDK接入OSS-HDFS服务时,采用最新版本的JindoSDK。请注意,自最新版本X.Y.Z(例如6.4.x)发布起,将不再对Y-2(即6.2.x)及更早版本维护和更新。最新版本JindoSDK下载地址,请参见GitHub。
JindoSDK版本信息及已知问题记录
请参见JindoSDK版本记录。
JindoSDK 4.x.x老版本已知问题记录
使用JindoSDK出现V4签名报错
问题现象
使用[6.1.6, 6.3.5)和(6.3.5, 6.4.0]版本范围的JindoSDK,偶发V4签名错误问题。详情请参见GitHub。
问题示例
java.io.IOException: ErrorCode : 3005, ErrorMessage : JindoFS open reader failed, internal error:Caused by error 6400: [E1010]HTTP/1.1 400 Bad Request: <?xml version="1.0" encoding="UTF-8"?> <Error> <Code>InvalidArgument</Code> <Message>Invalid signing date in Authorization header.</Message> <RequestId>66D9130468417237317F****</RequestId> <HostId>examplebucket.cn-beijing.oss-dls.aliyuncs.com</HostId> <Authorization>OSS4-HMAC-SHA256 Credential=LTAI****/20240904/cn-beijing/oss/aliyun_v4_request,Signature=a184****</Authorization> </Error> [ErrorCode]: 1010 at com.aliyun.jindodata.call.JindoOpenCall.initNativeReader(JindoOpenCall.java:82) at com.aliyun.jindodata.call.JindoOpenCall.initReaderContext(JindoOpenCall.java:46) at com.aliyun.jindodata.call.JindoOpenCall.open(JindoOpenCall.java:40) at com.aliyun.jindodata.common.JindoHadoopSystem.open(JindoHadoopSystem.java:585)
解决方法
升级为最新版本的JindoSDK。下载地址,请参见GitHub。
文档内容是否对您有帮助?