通过JindoSDK接入OSS-HDFS服务常见问题

本文介绍通过JindoSDK接入OSS-HDFS服务的常见问题和解决方法。

如何关闭OSS-HDFS客户端INFO级别的日志?

通过JindoSDK接入OSS-HDFS服务后,默认情况下会记录连接与操作日志、错误与异常日志,调试信息等详细日志。如果您希望关闭OSS-HDFS客户端INFO级别的日志,请执行以下步骤。

  1. 打开日志配置文件。

    vim $HADOOP_CONF_DIR/log4j.properties
    说明

    $HADOOP_CONF_DIR是一个环境变量,通常指向Hadoop配置文件所在的目录,例如/etc/hadoop或其他自定义路径。

  2. 添加日志配置。

    log4j.logger.com.aliyun.jindodata=WARN
    说明

    通过设置日志级别为WARN,则OSS-HDFS客户端的WARN及以上级别的消息会被记录,INFO及以下级别的消息将不被记录。

  3. 保存更改并重新启动应用程序,以使新的日志配置生效。

JindoSDK版本支持说明

为确保功能完整性和性能体验,强烈建议通过JindoSDK接入OSS-HDFS服务时,采用最新版本的JindoSDK。请注意,自最新版本X.Y.Z(例如6.4.x)发布起,将不再对Y-2(即6.2.x)及更早版本维护和更新。最新版本JindoSDK下载地址,请参见GitHub

JindoSDK版本信息及已知问题记录

请参见JindoSDK版本记录

JindoSDK 4.x.x老版本已知问题记录

请参见4.x.x JindoSDK已知问题记录

使用JindoSDK出现V4签名报错

  • 问题现象

    使用[6.1.6, 6.3.5)和(6.3.5, 6.4.0]版本范围的JindoSDK,偶发V4签名错误问题。详情请参见GitHub

  • 问题示例

    java.io.IOException: ErrorCode : 3005, ErrorMessage : JindoFS open reader failed, internal error:Caused by error 6400: [E1010]HTTP/1.1 400 Bad Request: 
    <?xml version="1.0" encoding="UTF-8"?>
    <Error>  
      <Code>InvalidArgument</Code>  
      <Message>Invalid signing date in Authorization header.</Message>  
      <RequestId>66D9130468417237317F****</RequestId>  
      <HostId>examplebucket.cn-beijing.oss-dls.aliyuncs.com</HostId>  
      <Authorization>OSS4-HMAC-SHA256 Credential=LTAI****/20240904/cn-beijing/oss/aliyun_v4_request,Signature=a184****</Authorization>
    </Error> 
    [ErrorCode]: 1010
    	at com.aliyun.jindodata.call.JindoOpenCall.initNativeReader(JindoOpenCall.java:82)
    	at com.aliyun.jindodata.call.JindoOpenCall.initReaderContext(JindoOpenCall.java:46)
    	at com.aliyun.jindodata.call.JindoOpenCall.open(JindoOpenCall.java:40)
    	at com.aliyun.jindodata.common.JindoHadoopSystem.open(JindoHadoopSystem.java:585)
  • 解决方法

    升级为最新版本的JindoSDK。下载地址,请参见GitHub