Dataphin集成任务配置OSS数据源进行数据抽取任务报“InvalidBucketName”错误
更新时间:
概述
通过在代码任务中创建Shell任务调用JSON来进行数据同步。
问题描述
配置继承任务从OSS->ODPS进行数据同步,任务报错提示:The specified bucket is not valid
。
问题原因
排查:
- Bucket是否存在
- 账号是否有Bucket的读写权限
- 配置的OSS是否属于公有云
解决方案
通过检查发现Bucket实际存在的(如图1),而且AK已经设置为admin账号了,同步任务还是失败,通过日志发现该OSS数据源配置的Endpoint是有问题的,和我们文档中提供的OSS公共云Endpoint格式不一致(如图2)。该Endpoint是专有云OSS的Endpoint,由于Dataphin集成任务目前不支持专有云OSS,所以任务报错:The specified bucket is not valid.
。
在代码任务中,创建Shell任务来调JSON文件的方式去实现OSS->ODPS的数据同步,JSON结构体中cname参数(如图3)的值就是用来区分公有云和专有云的地方,加上这个配置就可以正常进行数据同步了。
图1:
图2:
图3:
相关文档
适用于
- 产品名称:Dataphin
- 产品模块:集成任务、代码任务
反馈
- 本页导读
文档反馈