Dataphin将OSS文件通过管道任务同步到MaxCompute,运行报错“Unable to execute HTTP request: The specified key does not exist”

更新时间:

问题描述

Dataphin将OSS文件通过管道任务同步到MaxCompute,运行报错“Unable to execute HTTP request: The specified key does not exist”。完整的报错信息如下:

2023-02-02 16:28:29.468 [0-0-0-reader] INFO  oss - [Server]Unable to execute HTTP request: The specified key does not exist.
[ErrorCode]: NoSuchKey
[RequestId]: 63DB742D55DB9D3030514DAD
[HostId]: eydata.oss-cn-shanghai-internal.aliyuncs.com
[ResponseError]:
<?xml version="1.0" encoding="UTF-8"?>
<Error>
  <Code>NoSuchKey</Code>
  <Message>The specified key does not exist.</Message>
  <RequestId>63DB742D55DB9D3030514DAD</RequestId>
  <HostId>eydata.oss-cn-shanghai-internal.aliyuncs.com</HostId>
  <Key>DF029_ENGAGEMENT.xlsx</Key>
</Error>

问题原因

  • Object命名不符合规范。
  • 触发生命周期管理规则,Object被删除。
  • Object被其他具有合法权限的用户通过OSS控制台、OSS客户端或API等方式删除了。
  • 目标Bucket与其他Bucket存在跨区域复制关系,其他Bucket中执行的删除操作被同步到目标Bucket中,此时Object也会被删除

解决方案

  • 确保请求的Object命名符合规范。Object名称不能以正斜线(/)或者反斜线(\)开头,需使用UTF-8编码,且长度必须在1~1023字符之间。
  • 检查OSS设置的生命周期规则,确认请求的Object未触发删除规则。
  • 确认其他具有合法权限的用户未删除请求的Object。
  • 检查Bucket配置的跨区域复制规则,确认请求的Object未被删除。

更多信息

OSS数据源常见404错误排查方法

适用于

  • Dataphin