Dataphin集成任务配置OSS数据源进行数据抽取任务报“InvalidBucketName”错误

概述

通过在代码任务中创建Shell任务调用JSON来进行数据同步。

问题描述

配置继承任务从OSS->ODPS进行数据同步，任务报错提示：The specified bucket is not valid。

问题原因

排查：

• Bucket是否存在
• 账号是否有Bucket的读写权限
• 配置的OSS是否属于公有云

解决方案

通过检查发现Bucket实际存在的（如图1），而且AK已经设置为admin账号了，同步任务还是失败，通过日志发现该OSS数据源配置的Endpoint是有问题的，和我们文档中提供的OSS公共云Endpoint格式不一致（如图2）。该Endpoint是专有云OSS的Endpoint，由于Dataphin集成任务目前不支持专有云OSS，所以任务报错：The specified bucket is not valid.。

在代码任务中，创建Shell任务来调JSON文件的方式去实现OSS->ODPS的数据同步，JSON结构体中cname参数（如图3）的值就是用来区分公有云和专有云的地方，加上这个配置就可以正常进行数据同步了。

图1：

图2：

图3：

相关文档

• DataX同步数据
• 公共云下OSS Region和Endpoint对照表

适用于

• 产品名称：Dataphin
• 产品模块：集成任务、代码任务