多集群分发 Workflow

更新时间:
复制 MD 格式

通过 ACK One 舰队的分发策略(PropagationPolicy),可以在舰队实例上统一创建 Argo Workflow,并将其自由调度到任意关联集群,或根据标签分发到指定的关联集群,无需在每个关联集群中分别创建。本文介绍如何创建分发策略和 Workflow,并查看舰队实例与关联集群中的 Workflow。

前提条件

(可选)步骤一:为关联集群添加标签,支持使用 ACS Pod 运行 Workflow

如果关联集群需要使用容器计算服务(ACS)Pod 运行 Workflow,为该关联集群添加标签,以支持将 Workflow 调度到该集群。执行前,将命令中的 <YOUR-CLUSTER-ID> 替换为关联集群 ID;如果无此需求,跳过本步骤。

kubectl patch managedcluster <YOUR-CLUSTER-ID> \
  --type=merge \
  -p '{"metadata":{"labels":{"one.alibabacloud.com/serverless-workflow":"true"}}}'

步骤二:多集群调度和分发 Workflow

根据业务需要,选择以下任一种分发方式:

  • 自由调度到任意集群:不指定目标集群,调度范围为所有关联集群,适用于无需将 Workflow 固定到特定关联集群的场景。

  • 根据标签将 Workflow 资源分发到指定集群:通过标签匹配 Workflow 资源,并将其分发到分发策略指定的关联集群,适用于需要将特定 Workflow 固定分发到指定关联集群的场景。

    两种方式下的分发策略和 Workflow 均通过 kubectl 在舰队实例上创建。

自由调度到任意集群

创建分发策略

在舰队实例上创建以下分发策略。该策略未配置 clusterAffinity,表示调度范围为所有关联集群。

apiVersion: policy.one.alibabacloud.com/v1alpha1
kind: PropagationPolicy
metadata:
  name: pp-workflow
spec:
  preserveResourcesOnDeletion: false
  resourceSelectors:
    - apiVersion: argoproj.io/v1alpha1
      kind: Workflow
  placement:

## 不写clusterAffinity表示调度范围是所有关联集群

    #clusterAffinity:
    #  clusterNames:
    #    - <YOUR-CLUSTER-1-ID>
    #    - <YOUR-CLUSTER-2-ID>
    replicaScheduling:
      customSchedulingType: Gang
      replicaSchedulingType: Divided

在舰队实例上创建 Workflow

在舰队实例上创建以下 Workflow。

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: helloworld- # 工作流名称前缀
spec:
  entrypoint: helloworld # 指定入口工作流模板
  templates:
  - name: helloworld
    container:
      image: mirrors-ssl.aliyuncs.com/busybox:latest
      command:
      - sh
      - -c
      args:
      - echo "Hello, world!";
        sleep 60;

根据标签将 Workflow 资源分发到指定集群

创建分发策略

在舰队实例上创建以下分发策略,实现以下分发:

  • 将标签为 target-cluster: cluster1 的 Workflow 资源下发到 <YOUR-CLUSTER-1-ID>。

  • 将标签为 target-cluster: cluster2 的 Workflow 资源下发到 <YOUR-CLUSTER-2-ID>。

apiVersion: policy.one.alibabacloud.com/v1alpha1
kind: PropagationPolicy
metadata:
  name: pp-workflow-cluster1
spec:
  preserveResourcesOnDeletion: false
  resourceSelectors:
    - apiVersion: argoproj.io/v1alpha1
      kind: Workflow
      labelSelector:
        matchExpressions:
        - key: target-cluster
          operator: In
          values:
          - cluster1
  placement:
    clusterAffinity:
      clusterNames:
        - <YOUR-CLUSTER-1-ID>
    replicaScheduling:
      customSchedulingType: Gang
      replicaSchedulingType: Divided

---
apiVersion: policy.one.alibabacloud.com/v1alpha1
kind: PropagationPolicy
metadata:
  name: pp-workflow-cluster2
spec:
  preserveResourcesOnDeletion: false
  resourceSelectors:
    - apiVersion: argoproj.io/v1alpha1
      kind: Workflow
      labelSelector:
        matchExpressions:
        - key: target-cluster
          operator: In
          values:
          - cluster2
  placement:
    clusterAffinity:
      clusterNames:
        - <YOUR-CLUSTER-2-ID>
    replicaScheduling:
      customSchedulingType: Gang
      replicaSchedulingType: Divided

在舰队实例上创建 Workflow

在舰队实例上创建带有对应标签的 Workflow:

  • 标签为 target-cluster: cluster1 的 Workflow 资源:

    apiVersion: argoproj.io/v1alpha1
    kind: Workflow
    metadata:
      generateName: helloworld-cluster1- # 工作流名称前缀
      labels:
        target-cluster: cluster1
    spec:
      entrypoint: helloworld # 指定入口工作流模板
      templates:
      - name: helloworld
        container:
          image: mirrors-ssl.aliyuncs.com/busybox:latest
          command:
          - sh
          - -c
          args:
          - echo "Hello, world!";
            sleep 60;
  • 标签为 target-cluster: cluster2 的 Workflow 资源:

    apiVersion: argoproj.io/v1alpha1
    kind: Workflow
    metadata:
      generateName: helloworld-cluster2- # 工作流名称前缀
      labels:
        target-cluster: cluster2
    spec:
      entrypoint: helloworld # 指定入口工作流模板
      templates:
      - name: helloworld
        container:
          image: mirrors-ssl.aliyuncs.com/busybox:latest
          command:
          - sh
          - -c
          args:
          - echo "Hello, world!";
            sleep 60;

步骤三:查看 Workflow

创建分发策略和 Workflow 后,查看舰队实例与关联集群中的 Workflow,确认分发结果。将以下命令中的 <YOUR-NAMESPACE> 替换为步骤二中创建 Workflow 时所使用的命名空间。

  1. 查看舰队实例中的 Workflow。

    kubectl get workflow -n <YOUR-NAMESPACE>
  2. 查看关联集群中的 Workflow。命令行标志 -M 表示查看所有关联集群中的 Workflow,-m 表示查看指定关联集群中的 Workflow,其中 <YOUR-CLUSTER-ID> 为关联集群 ID。

    # 查看所有关联集群的 Workflow
    kubectl amc get workflow -n <YOUR-NAMESPACE> -M
    
    # 查看指定关联集群的 Workflow
    kubectl amc get workflow -n <YOUR-NAMESPACE> -m <YOUR-CLUSTER-ID>