Ray在ACK集群高效部署与优化实践

计费说明

本文在ACK集群上创建Ray Cluster后，与阿里云日志服务SLS、Prometheus监控、Redis等快速集成，以增强日志管理、可观测、高可用等能力。

除ACK本身产生的费用外，其他产品也会根据使用的资源产生相应的费用。关于其他产品的计费说明，请参见：

• 可观测监控 Prometheus 版：计费说明

• 日志服务SLS：计费说明

• 云数据库Tair（兼容 Redis）：计费说明

1.环境准备

2. 集成日志服务SLS能力

您可以在Ray Cluster中集成阿里云日志服务SLS，实现日志的持久化存储。

1. 执行以下命令，创建一个全局的AliyunLogConfig资源对象，使集群中的Logtail组件自动收集Ray Cluster的Pod产生的日志，并将其存入对应的SLS Project中。

   展开查看完整命令代码

   cat <<EOF | kubectl apply -f -
   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     name: rayclusters
     namespace: kube-system
   spec:
      # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
     logstore: rayclusters
     # 设置Logtail配置。
     logtailConfig:
       # 设置采集的数据源类型。采集文本日志时，需设置为file。
       inputType: file
       # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
       configName: rayclusters
       inputDetail:
         # 指定通过极简模式采集文本日志。
         logType: common_reg_log
         # 设置日志文件所在路径。
         logPath: /tmp/ray/session_*-*-*_*/logs
         # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
         filePattern: "*.*"
         # 采集容器的文本日志时，需设置dockerFile为true。
         dockerFile: true
         #设置容器过滤条件。
         advanced:
           k8s:
             IncludeK8sLabel:
               ray.io/is-ray-node: "yes"
             ExternalK8sLabelTag:
               ray.io/cluster: "_raycluster_name_"
               ray.io/node-type : "_node_type_"
   EOF

   参数	描述
   logPath	收集Pod中/tmp/ray/session_*-*-*_*/logs目录下的所有日志，可自定义路径。
   advanced.k8s.ExternalK8sLabelTag	在收集的日志中增加Tag索引，便于查找日志。默认新增_raycluster_name_和_node_type_两个Tag。

   关于AliyunLogConfig参数配置的更多信息，请参见通过DaemonSet-CRD方式采集容器日志。该服务收费，具体费用，请参见计费概述。

2. 查看Ray Cluster日志信息流程。

   登录容器服务管理控制台，在左侧导航栏选择集群。单击目标集群名称，进入集群详情页面，如下图所示按照序号依次单击集群信息 > 基本信息 > 集群资源，单击日志服务 Project右侧的链接进入对应的SLS Project。

3. 在Project中选择rayclusters对应的Logstore并查看日志内容。

   您可以根据Tag，例如_raycluster_name_，查看不同Ray Cluster的日志。

   

3. 集成阿里云Prometheus监控能力

您可以在Ray Cluster中使用阿里云Prometheus监控能力，关于Prometheus监控功能的更多信息，请参见使用阿里云Prometheus监控。

您可执行以下命令部署Pod Monitor和Service Monitor资源，用于收集Ray Cluster 的Metric数据。

1. 执行以下命令部署Pod Monitor资源。

   展开查看完整代码示例

   cat <<EOF | kubectl apply -f -
   apiVersion: monitoring.coreos.com/v1
   kind: PodMonitor
   metadata:
     annotations:
       arms.prometheus.io/discovery: 'true'
       arms.prometheus.io/resource: arms
     name: ray-workers-monitor
     namespace: arms-prom
     labels:
       # `release: $HELM_RELEASE`: Prometheus can only detect PodMonitor with this label.
       release: prometheus
       #ray.io/cluster: raycluster-kuberay # $RAY_CLUSTER_NAME: "kubectl get rayclusters.ray.io"
   spec:
     namespaceSelector:
       any: true
     jobLabel: ray-workers
     # Only select Kubernetes Pods with "matchLabels".
     selector:
       matchLabels:
         ray.io/node-type: worker
     # A list of endpoints allowed as part of this PodMonitor.
     podMetricsEndpoints:
     - port: metrics
       relabelings:
       - action: replace
         regex: (.+)
         replacement: $1
         separator: ;
         sourceLabels:
           - __meta_kubernetes_pod_label_ray_io_cluster
         targetLabel: ray_io_cluster
         
   EOF

2. 执行以下命令部署Service Monitor资源。

   展开查看完整代码示例

   cat <<EOF | kubectl apply -f -
   apiVersion: monitoring.coreos.com/v1
   kind: ServiceMonitor
   metadata:
     annotations:
       arms.prometheus.io/discovery: 'true'
       arms.prometheus.io/resource: arms
     name: ray-head-monitor
     namespace: arms-prom
     labels:
       # `release: $HELM_RELEASE`: Prometheus can only detect ServiceMonitor with this label.
       release: prometheus
   spec:
     namespaceSelector:
       any: true
     jobLabel: ray-head
     # Only select Kubernetes Services with "matchLabels".
     selector:
       matchLabels:
         ray.io/node-type: head
     # A list of endpoints allowed as part of this ServiceMonitor.
     endpoints:
       - port: metrics
         path: /metrics
     targetLabels:
     - ray.io/cluster
     
   EOF

3. 登录控制台查看资源部署接入情况。

   1. 登录ARMS控制台。在左侧导航栏单击接入中心，在基础设置页面，如下图所示按照序号依次单击②搜索Ray > ③选中Ray，然后在Ray面板选择上文新建的集群，单击确定。

   2. 接入成功后，单击接入管理，跳转至ARMS接入管理页面。在组件管理页签，单击组件类型区域的大盘，选择Ray Cluster。

   3. 在大盘中选择对应Namespace、RayClusterName和SessionName进行过滤，查看Ray Cluster运行中任务的监控数据。

相关文档

• 您可以在本地访问Ray的可视化Web界面DashBoard，请参见本地访问Ray Dashboard。

• 关于如何在Ray Cluster中提交一个Job，请参见提交Ray Job。

• 关于如何在普通ECS节点结合Ray autoscaler实现弹性伸缩，请参见基于Ray autoscaler与ACK autoscaler实现弹性伸缩。

• 关于如何在虚拟ECI节点中结合Ray autoscaler实现弹性伸缩，请参见结合Ray autoscaler实现ECI节点的弹性伸缩。