Dataphin将OSS文件通过管道任务同步到MaxCompute，运行报错“Unable to execute HTTP request: The specified key does not exist”

问题描述

Dataphin将OSS文件通过管道任务同步到MaxCompute，运行报错“Unable to execute HTTP request: The specified key does not exist”。完整的报错信息如下：

2023-02-02 16:28:29.468 [0-0-0-reader] INFO  oss - [Server]Unable to execute HTTP request: The specified key does not exist.
[ErrorCode]: NoSuchKey
[RequestId]: 63DB742D55DB9D3030514DAD
[HostId]: eydata.oss-cn-shanghai-internal.aliyuncs.com
[ResponseError]:
<?xml version="1.0" encoding="UTF-8"?>
<Error>
  <Code>NoSuchKey</Code>
  <Message>The specified key does not exist.</Message>
  <RequestId>63DB742D55DB9D3030514DAD</RequestId>
  <HostId>eydata.oss-cn-shanghai-internal.aliyuncs.com</HostId>
  <Key>DF029_ENGAGEMENT.xlsx</Key>
</Error>

问题原因

• Object命名不符合规范。
• 触发生命周期管理规则，Object被删除。
• Object被其他具有合法权限的用户通过OSS控制台、OSS客户端或API等方式删除了。
• 目标Bucket与其他Bucket存在跨区域复制关系，其他Bucket中执行的删除操作被同步到目标Bucket中，此时Object也会被删除

解决方案

• 确保请求的Object命名符合规范。Object名称不能以正斜线（/）或者反斜线（\）开头，需使用UTF-8编码，且长度必须在1~1023字符之间。
• 检查OSS设置的生命周期规则，确认请求的Object未触发删除规则。
• 确认其他具有合法权限的用户未删除请求的Object。
• 检查Bucket配置的跨区域复制规则，确认请求的Object未被删除。

更多信息

OSS数据源常见404错误排查方法

适用于

• Dataphin