本文为您介绍DSW的相关问题。
目录
实例启动
DSW实例启动失败
排查方法:单击DSW实例名称,在事件页签下查看报错信息。
通常DSW实例启动失败包含以下错误:
DSW启动时可以开机执行Python文件吗?
目前,DSW启动时不支持开机执行Python文件。
启动DSW实例时间越来越长
每次启动时间逐渐变长可能是由于您的保存镜像体积较大所致。
模型拉取
拉取模型时报1005错误
当前由于国内网络受限,如果从Huggingface上拉取模型或插件时可能会报“1005”链接错误,您可以通过以下方式解决:
通过国内镜像源进行拉取。
为本地网络设置代理。
上传本地模型,详情请参见上传与下载数据文件。
镜像使用
制作镜像时报错:insufficient capacity of ephemeral storage
出错原因:制作镜像的大小校验逻辑是检查系统盘的剩余可用空间是否大于写入层的大小,如果可用空间不足,就会报这个错。
解决方案:在DSW Terminal中通过df -h
查看文件系统的磁盘空间占用情况,并确保overlay已使用的空间不超过/dev/vda4的可用空间,如果超过,您可以通过在制作镜像时设置自定义排除路径解决。
制作镜像,DSW实例状态一直处于保存中
一般是由于实例hang住了,可能原因是镜像体积过大而机器规格过小,导致机器负载过高。
制作镜像时报错:failed to push image registry-vpc.cn-shenzhen.aliyuncs.com/mystu/stu:eas-service, please try again later, failed to commit image, error: different registry for base images and commit image
请先核实保存的镜像信息。以 _accelerated
结尾的镜像是加速镜像,目前无法保存到用户的镜像仓库。
如何查看镜像的python版本?
您可以通过运行 python -V
来确认Python版本。不同镜像内的Python版本可能有所不同,参考自定义镜像查看镜像信息。
Notebook保存的镜像存放在哪里了?
Notebook对应的是DSW实例,每个实例都分配了一定的计算资源,支持代码编辑、调试和训练。您可以在DSW上保存Notebook的镜像,生成的新镜像将存放在镜像管理列表中的用户自定义镜像中。新建DSW实例时,可以直接选择这些自定义镜像。如果尚未创建任何自定义镜像,则只能选择默认的官方镜像。
自行创建的镜像不会受到任何操作的影响。即使官方提供的镜像进行了更新,自建的镜像仍然保持原有的配置,不会发生变化。
系统盘、磁盘扩容
DSW实例磁盘空间有多大,磁盘满了怎么办?
DSW实例中的文件和数据默认存储在系统盘中,并且提供一定的免费额度。
查看免费额度
公共资源组创建的实例免费额度为100 GiB,专有资源组(通用计算资源或灵骏智算资源)需满足规格要求后,才会提供免费额度的系统盘。具体免费磁盘空间大小可以查看实例配置页面的系统盘选项。操作步骤:
单击实例列表页的实例名称。
在右上角单击变更配置,然后下拉找到系统盘。
查看系统盘使用量
单击DSW实例名称,在环境信息区域可以查看系统盘的用量。
系统盘满了如何扩容
如果磁盘空间使用量超过了免费额度,您可以选择扩容系统盘或挂载数据集。
挂载配置
DSW实例如何挂载和使用自己的NAS文件系统?
DSW实例默认提供的系统盘为临时存储,在停止或删除实例后,系统会清空数据。如果您需要永久化存储数据,则需要挂载同地域下的NAS文件系统。您所有的NAS文件均存储在/nas目录,可以通过DSW Terminal进入该目录查看并使用文件。
新版的DSW仅支持在创建实例时,挂载同地域下的NAS文件系统,详情请参见创建DSW实例。实例一旦创建,则无法编辑实例信息或挂载NAS。
挂载了NAS的实例,系统默认使用该NAS存储数据,不再使用临时存储。
使用ECS搭建FTP上传下载文件到NAS,执行挂载(mount)命令报错mount:wrong fs type,bad option,bad superblock
现象描述
解决方法
执行
mount
命令之前,先安装nfs-utils安装包。yum install nfs-utils
如果挂载OSS数据集后,访问挂载目录报错Input/output error,应如何解决?
该问题是由于未对角色授予OSS访问权限(AliyunPAIDLCAccessingOSSRole)导致,具体授权操作,请参见PAI服务账号授权。
挂载NAS提示扮演角色失败
如果您在创建DSW实例时挂载NAS失败:显示扮演角色失败。请参考如下方法进行处理,然后再次尝试挂载:
DSW实例重启后里边的文件全丢失
如果DSW实例未挂载数据集,则在停止或删除DSW实例后,相关数据将无法恢复。因此,在停止之前,请确保已挂载数据集。如果没有挂载,请尽快备份您的数据和资料,完成备份后再进行停止操作,以避免数据丢失。
数据读取、上传和下载
如何使用DSW读取OSS数据?
您可以使用Python SDK或API读取OSS数据,详情请参见读写OSS数据。
如何上传下载文件夹?
目前DSW不支持直接上传和下载文件夹,但您可以通过打包为压缩文件的方式实现文件夹的上传和下载。DSW Terminal提供了一个Linux环境,可以使用标准的Linux命令行工具,如tar
、gzip
、unzip
等,来解压缩文件。以tar
为例使用示例如下。
使用
tar --version
查看tar是否安装,如果没有,则可参考如下命令进行安装。# 对于基于Debian的系统(例如 Ubuntu)的安装命令 sudo apt install tar # 基于Red Hat的系统(例如CentOS、Fedora)的安装命令 sudo yum install tar
解压缩文件夹。
# 压缩文件夹, /path/to/diretory为要压缩的文件夹 tar -cvf archive_name.tar /path/to/directory # 解压文件夹 tar -xvf archive_name.tar
DSW训练算法模型时,通过ODPS读取数仓数据的上限为10000条,如何解决这一限制问题?
ODPS的默认查询限制为10000条,这对写入或插入操作没有影响。您可以联系您的ODPS管理员,请求更改配置以允许下载或读取全量数据。
远程连接实例
ProxyClient连接DSW实例时断连报错:client_loop: send disconnect: Broken pipe
在使用其通过SSH方式连接DSW实例时,若长时间不进行操作会触发断连,系统可能会提示:
如果要从根本上解决此问题,推荐您使用稳定性更高的SSH直连方式连接DSW实例。
使用VSCode远程连接了实例,打开本地文件夹失败
一般是由于Vscode客户端的影响产生的问题,建议将本地文件上传至云端的DSW中,具体操作可参考上传与下载数据文件。
第三方库安装
如何在DSW中使用第三方库
DSW支持安装第三库,可以使用DSW Terminal输入如下命令完成安装。
#Python 3版本。
pip install --user xxx
#Python 2版本。
source activate python2
pip install --user xxx
其中xxx需要替换为待安装的第三方库名称。安装成功后,需要单击kernelrestart kernel,重启服务。
为什么安装的第三方包没有生效?
通过pip
命令安装第三方包后,使用import
命令导入时,如果出现无法查找到该包的问题,则先尝试重启服务。如果依然报错,则确认当前使用的环境。安装第三方包时,DSW默认安装到Python 3环境。如果需要安装到其他环境,则必须先手动切换环境再进行安装,示例如下。
安装到Python 2环境。
source activate python2
pip install --user xxx
安装到TensorFlow 2.0环境。
source activate tf2
pip install --user xxx
其中xxx需要替换为待安装的第三方包名称。
模型部署
如何部署DSW生成的模型?
使用EAS模型部署服务
在完成模型建模后,您可以使用PAI-EAS将模型部署为在线服务,详情请参见将模型部署为在线服务。
下载模型到本地部署
您可以通过右键单击DSW生成的模型将其下载至本地。
计费和账单
DSW如何收费?
DSW支持预付费和后付费,您可以根据自己的实际需要选择付费方式,计费详情请参见DSW计费说明。
如何查看DSW账单?
对于后付费用户,可以进入费用与成本页面查看账单明细,详情请参见查看账单明细。
创建DSW实例时提示余额不足无法创建?
开通按量计费时,需要账户预留100元现金余额,但实际上产生的费用会从托管主账号的额度中扣除。
实例运行
运行机器学习代码时,为什么页面放置一段时间后提示重新登录?
为安全考虑,DSW登录Session的有效期为3个小时,过期后需要重新登录,但是不会影响任务的执行。如果需要长时间运行任务,建议在DSW Terminal,使用nohup
命令后台执行任务。
为什么DSW无法启动Docker?
因为DSW本身运行在容器中,所以DSW不支持安装Docker。对应的CUDA版本是底层的虚拟机预装好的,无法变更,您可以使用nvidia-smi
查看对应的CUDA版本。
为什么在Terminal中没有tab键自动补全等bash功能?
因为部分镜像有使用限制,您需要手动在Terminal中输入bash并按回车键,才可以启动bash相关功能。
如果您在DSW中进行AI开发时发现DSW实例规格不满足要求如何解决?
您可以按照以下操作步骤更新DSW实例规格:
在DSW实例列表中,单击实例名称,进入实例详情页面。
在实例配置页签中,单击变更配置。
在变更实例配置面板中,更新实例规格。
说明在更新DSW实例规格时,如果实例正在运行中,更新操作会立即重启实例。请确保您已经保存了实例中的内容。
我的内存使用率较高,怎么样进行释放?
如果您的内存使用率过高,影响了正常使用,您可以通过两种方式来解决。
如果因内存占用过高,您已无法通过命令行进行交互,请单击右上角的停止实例;或返回到DSW控制台,单击实例所在行右侧的停止按键。等到实例停止后再打开实例。
如果在实例中可以通过命令行进行交互,您可以在实例的Terminal中输入
top
命令,查看当前所有进程的内存占用信息。%MEM
表示占用内存百分比,PID
表示进程ID。如果您想要结束占用内存较高的进程,请在命令行中输入:
kill PID
您需要将PID替换成您想要结束进程的PID。运行后可看到内存使用率降低。
运行时报错:RuntimeError: CUDA error: too many resources requested for launch
出错原因:
当您遇到该错误,表明CUDA内核请求的资源超过了可用资源,此错误通常与GPU的硬件限制有关。
解决方案:
您可以尝试重启实例,重新运行程序,如果还是不行,您就需要选择更高规格的GPU实例。
PAI可以配置PHP运行环境吗?
PAI目前不支持配置PHP运行环境。您可以构建其他环境来使用PAI,详情请参见DSW概述。
如何Debug代码?
DSW暂未提供Debug功能,您可以查看运行日志,了解代码运行情况。
对接微服务引擎Nacos连接失败
在创建DSW实例时,您可以选择与Nacos配置中心一致的VPC。这样能确保DSW实例所在的VPC与Nacos配置中心VPC打通。
报错OOM
如果您在使用DSW实例时遇到OOM报错,建议增加实例内存,或减少模型中树的数量。
Notebook无法保存:File Save Error for *.ipynb
请清空Notebook的输出。当Notebook大小超过5 MB时,将无法保存。