配置节点自愈通知后,当灵骏智算资源底层节点异常时,您会及时收到通知。收到通知后尽快清退该节点上的DSW实例和DLC任务,保障节点自愈流程顺利完成。
背景信息
系统发现节点异常后,会自动切换备机,保障资源稳定性和高可用性。支持以下场景通知:
节点禁止调度:系统识别到异常节点,暂时禁止该节点调度。
节点自愈受阻:异常节点上仍有运行任务,阻碍自愈。您需要配合完成以下操作:
DSW实例:手动保存环境并关闭实例,或者在调度中心配置DSW自动重启策略。
DLC任务:手动停止任务。
节点自愈开始:系统开始节点自愈流程。
节点自愈完成:系统完成节点自愈流程。
使用限制
该功能仅适用于灵骏智算资源。
订阅消息通知
支持通过站内信、邮件、短信或机器人接收节点自愈通知。为及时收到信息,请确认已在阿里云消息中心开启以下通知。
短信/邮件/站内信通知
登录PAI控制台。
在右上角单击
,进入消息中心。在左侧导航栏选择消息接收管理 > 基本接收管理。
在消息类型列找到产品运维通知,勾选站内信、邮件或短信。
消息通知默认联系人为阿里云主账号。如需添加更多联系人,单击操作列下的修改。
配置完成后,系统发现异常节点时,会通知您节点名称、资源配额及节点上运行的任务信息。
机器人通知
阿里云消息中心的机器人接收平台目前支持钉钉、企业微信、飞书、Slack。更多说明,请参见阿里云消息中心。
登录PAI控制台。
在右上角单击
,进入消息中心。在左侧导航栏选择消息接收管理 > 机器人接收管理。
添加机器人。如果已添加机器人,可跳过此步骤。
在机器人接收管理页面右上角,单击机器人管理。
在机器人管理页面,参考页面顶部链接获取机器人webhook信息,然后单击添加机器人完成添加。
单击操作列下的测试,验证机器人连通性。弹窗提示测试成功时,表示连通性正常。
在机器人接收管理页面,找到消息类型为产品运维通知的条目,单击操作列下的修改。
切换到消息接收机器人页签,选择已添加的机器人,然后单击保存。
自定义收信规则
您可以根据业务需求配置不同的消息通知机器人及收信规则。例如,一个业务群只关注PAI相关消息,另一个群关注阿里云全部产品运维通知。可以配置两个不同的接收机器人:
机器人test1:接收全量消息,无需配置收信规则。
机器人test2:只接收包含PAI关键词的消息,需配置收信规则。配置步骤如下:
在消息中心左侧导航栏,选择消息接收管理 > 机器人接收管理。
在右侧找到消息类型为产品运维通知的条目,单击操作列下的修改。
切换到消息接收机器人页签,在目标消息接收人收信规则列单击编辑。在配置自定义收信规则页面设置白名单关键词,例如PAI。配置后,您只会收到PAI相关消息。
您也可以选择多个消息接收人,单击批量编辑规则进行批量配置。
配置完成后,单击确定,然后在修改消息接收配置页面单击保存。配置成功后,收信规则列会显示已启用白名单。
操作指南
收到节点自愈受阻通知后,请按以下步骤清退异常节点上的DSW实例和DLC任务,保证节点替换正常推进。
迁移DSW实例
方式一:手动迁移
异常节点上的DSW实例处于浏览器打开状态时,实例会弹窗提醒您尽快保存环境并关闭实例,以保障节点自愈。
方式二:自动迁移
登录PAI控制台。
在左侧导航栏单击工作空间列表,在工作空间列表中单击目标工作空间名称,进入该工作空间。
在工作空间详情页面右侧,选择工作空间配置调度配置。
在DSW区域,打开开启异常节点实例自动迁移开关。
开启后,当灵骏底层节点异常时,系统会自动关闭并重启实例,支持节点自愈流程,保障资源完整可用性。重启过程会保存环境镜像,但运行中进程无法恢复。
异常节点上的DSW实例处于浏览器打开状态时,实例会弹窗提醒您尽快保存环境并关闭实例,同时展示自动重启剩余时间,以保障节点自愈。
停止DLC任务
单击站内信、邮件或短信中的详情链接,进入资源配额页面。
根据提供的节点信息,查看该节点下的任务列表。即在资源配额页面的节点页签中,单击目标节点任务数列的详情。
单击DLC任务名称,进入任务详情页面。然后单击右上角更多 > 停止,停止DLC任务。
单击克隆,您的任务将复用原有配置,并调度到正常节点上。具体操作,请参见克隆训练任务。