如何在Kubernetes环境中部署SchedulerX_企业级分布式应用服务(EDAS)-阿里云帮助中心

SchedulerX支持定时调度程序、多语言脚本和HTTP接口，也支持调度原生的K8s Job或者Pod。本文介绍如何在Kubernetes环境中部署SchedulerX。

使用场景

使用SchedulerX调度K8s Job有如下优势。

可在线编辑脚本Pod

K8s Job常用于数据处理和运维场景，一般以脚本实现居多。原生的使用方式需要将脚本打包到镜像里，在YAML文件中配置脚本命令。如果要修改脚本，需要重新构建镜像和发布。如下所示。

展开查看代码

apiVersion: batch/v1
kind: Job
metadata:
  name: hello
spec:
  template:
    spec:
      containers:
      - name: hello
        image: registry.cn-hangzhou.aliyuncs.com/test/hello:1.0.0
        command: ["sh",  "/root/hello.sh"]
      restartPolicy: Never
  backoffLimit: 4

而使用SchedulerX则无需构建镜像和编写YAML脚本，只需在SchedulerX控制台直接编辑脚本（Shell、Python、PHP或Node.js），即可自动以Pod方式运行脚本。如果要修改脚本，只需在SchedulerX控制台重新编辑脚本，下次调度会自动生效，继而提高K8s Job的开发效率。同时，使用SchedulerX的K8s任务时，您无需了解容器底层细节，可以低门槛使用容器技术。

可视化任务编排

K8s中主流解决方案是使用argo进行工作流编排，如下所示。

展开查看代码

# The following workflow executes a diamond workflow
#
#   A
#  / \
# B   C
#  \ /
#   D
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: dag-diamond-
spec:
  entrypoint: diamond
  templates:
  - name: diamond
    dag:
      tasks:
      - name: A
        template: echo
        arguments:
          parameters: [{name: message, value: A}]
      - name: B
        depends: "A"
        template: echo
        arguments:
          parameters: [{name: message, value: B}]
      - name: C
        depends: "A"
        template: echo
        arguments:
          parameters: [{name: message, value: C}]
      - name: D
        depends: "B && C"
        template: echo
        arguments:
          parameters: [{name: message, value: D}]

  - name: echo
    inputs:
      parameters:
      - name: message
    container:
      image: alpine:3.7
      command: [echo, "{{inputs.parameters.message}}"]

SchedulerX支持通过可视化界面拖拽进行K8s任务的编排，相较于当前主流的、通过代码进行工作流编排的解决方案更为便捷。此外，任务运行时，可视化的工作流图可以帮助您快速排查任务卡点，提高运维效率。

报警监控

使用SchedulerX来调度Pod或者Job，可以复用SchedulerX的监控报警功能。

支持的报警通道：短信、电话、邮件、Webhook（钉钉/企业微信/飞书）。
支持的报警策略：失败报警、执行超时报警。

日志服务

使用SchedulerX调度Pod或者Job时，无需额外开通日志服务，就可以自动采集Pod运行的日志。如果Pod运行失败，您可以直接在SchedulerX控制台排查Pod执行失败的原因。

监控大盘

您可以通过SchedulerX自带的任务监控大盘实时观察您的任务。

离线在线混和部署

SchedulerX提供离在线定时任务混布调度功能，支持Java和K8s任务类型。一个业务应用通常包括多个定时任务。如果定时任务调度频率较高，可以直接使其与业务应用处于同一进程中。但进程内调用会消耗在线应用自身的CPU和内存，无法与在线业务隔离。所以，当一个定时任务资源消耗大且调度频率不高（例如每小时或每天运行一次）时，可以新增一个Pod运行该定时任务，使之与原来的在线应用处于不同进程中。

方式一：通过Deployment部署SchedulerX

使用非Java应用类型时，可以通过Deployment部署一个schedulerx-agent.yaml。SchedulerX会以单独的Pod启动应用。流程和原理如下图所示。

前提条件

已创建Kubernetes集群（阿里云容器服务ACK集群或自建Kubernetes集群）。具体操作，请参见创建Kubernetes集群。
已开通SchedulerX。
已在分布式任务调度平台创建一个应用类型为K8s的应用。具体操作，请参见创建应用。

步骤一：配置ServiceAccount

SchedulerX K8s任务依赖于ServiceAccount进行验证与授权，且默认使用Namespace的SchedulerX ServiceAccount运行K8s任务。

在K8s集群里和对应的Namespace下，仅需运行一次schedulerx-serviceaccount.yaml。如果Namespace之间需要隔离，仅调度目标Namespace下的Pod或者Job，可运行如下YAML示例代码。

展开查看具体代码

apiVersion: v1
kind: ServiceAccount
metadata:
  name: schedulerx
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: schedulerx-role
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["create","delete","get","list","patch","update"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["watch"]
  - apiGroups: ["batch"]
    resources: ["jobs","cronjobs"]
    verbs: ["create","delete","get","list","patch","update","watch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: schedulerx-binding
subjects:
  - kind: ServiceAccount
    name: schedulerx
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: schedulerx-role

如果有跨Namespace调度的需求，需使用ClusterRole和ClusterRoleBinding。

展开查看具体代码

apiVersion: v1
kind: ServiceAccount
metadata:
  name: schedulerx
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: schedulerx-cluster-role
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["create","delete","get","list","patch","update"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["watch"]
  - apiGroups: ["batch"]
    resources: ["jobs","cronjobs"]
    verbs: ["create","delete","get","list","patch","update","watch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: schedulerx-cluster-binding
subjects:
  - kind: ServiceAccount
    name: schedulerx
    namespace: <NAMESPACE1>
  - kind: ServiceAccount
    name: schedulerx
    namespace: <NAMESPACE2>
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: schedulerx-cluster-role

步骤二：安装schedulerx-agent.yaml

schedulerx-agent.yaml配置如下所示。

展开查看schedulerx-agent.yaml配置

apiVersion: apps/v1
kind: Deployment
metadata:
  name: schedulerx-agent
  labels:
    app: schedulerx-agent
spec:
  replicas: 1
  selector:
    matchLabels:
      app: schedulerx-agent
  template:
    metadata:
      labels:
        app: schedulerx-agent
    spec:
      serviceAccountName: schedulerx
      containers:
      - name: schedulerx-agent
        image: registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:latest-amd64
        imagePullPolicy: Always
        resources:
          limits:
            cpu: 200m
          requests:
            cpu: 200m
        env:
          - name: "SCHEDULERX_ENDPOINT"
            value: "${SCHEDULERX_ENDPOINT}"
          - name: "SCHEDULERX_NAMESPACE"
            value: "${SCHEDULERX_NAMESPACE}"
          - name: "SCHEDULERX_GROUPID"
            value: "${SCHEDULERX_GROUPID}"
          - name: "SCHEDULERX_APPKEY"
            value: "${SCHEDULERX_APPKEY}"
          - name: "SCHEDULERX_STARTER_MODE"
            value: "pod"
        livenessProbe:
          exec:
            command: ["/bin/bash","/root/health.sh"]
          timeoutSeconds: 30
          initialDelaySeconds: 30

SchedulerX agent image变量说明
芯片架构	区域	说明
X86_64	中国地区	registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:latest-amd64
X86_64	中国境外	schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx/agent:latest-amd64
ARM64	中国地区	registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:latest-arm64
ARM64	中国境外	schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx/agent:latest-arm64

SchedulerX agent env变量说明
变量	说明
${SCHEDULERX_ENDPOINT}	您部署应用的地域（Region）和对应的Endpoint，例如addr-sh-internal.edas.aliyun.com。更多信息，请参见Endpoint列表。
${SCHEDULERX_NAMESPACE}	Namespace为命名空间ID，可以在SchedulerX控制台的命名空间页面获取。
${SCHEDULERX_GROUPID}	GroupId为应用ID，可以在SchedulerX控制台应用管理页面获取。
${SCHEDULERX_APPKEY}	AppKey为应用Key，可以在SchedulerX控制台应用管理页面获取。

部署Deployment完成后，如果可以在SchedulerX控制台应用管理页面查看实例，表明接入成功。

方式二：通过helm包部署SchedulerX（推荐）

前提条件

已创建Kubernetes集群（阿里云容器服务ACK集群或自建Kubernetes集群）。具体操作，请参见创建Kubernetes集群。
已开通SchedulerX。
已在分布式任务调度平台创建一个应用类型为K8s的应用。具体操作，请参见创建应用。
已安装helm包管理工具。

步骤一：下载SchedulerX helm

执行如下命令，下载SchedulerX helm包。

wget https://schedulerx2.oss-cn-hangzhou.aliyuncs.com/helm/schedulerxchart-2.0.0.tgz

步骤二：安装schedulerx helm包

在分布式任务调度平台获取应用的接入参数。
1. 登录EDAS控制台。
2. 在顶部菜单栏选择地域。
3. 在左侧导航栏，选择任务调度，单击应用管理。
4. 在应用管理页面的操作列，单击接入配置。在接入配置页面左上角，选择k8s。

执行如下安装命令。

说明

安装命令的接入参数需要替换为目标应用的接入参数。
接入配置中的镜像地址默认为公网中amd架构的镜像。您需要根据自身机器所在的区域以及机器架构选择合适的镜像地址。

helm install  schedulerxchart schedulerxchart-2.0.0.tgz \
--set SCHEDULERX_ENDPOINT=acm.aliyun.com\
,SCHEDULERX_NAMESPACE=f856c3f8-a15c-4a7e-9b4e-f812a9f8****\
,SCHEDULERX_GROUPID=k8s-test3\
,SCHEDULERX_APPKEY=****\
,SCHEDULERX_AGENT_IMAGE=registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:latest-amd64

安装过程截图如下所示。

SchedulerX agent image变量说明
芯片架构	区域	说明
x86_64	中国地区	registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:latest-amd64
x86_64	中国境外	schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx/agent:latest-amd64
arm64	中国地区	registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:latest-arm64
arm64	中国境外	schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx/agent:latest-arm64

SchedulerX agent env变量说明
变量	说明
${SCHEDULERX_ENDPOINT}	您部署应用的地域（Region）和对应的Endpoint，例如addr-sh-internal.edas.aliyun.com。更多信息，请参见Endpoint列表。
${SCHEDULERX_NAMESPACE}	Namespace为命名空间ID，可以在SchedulerX控制台的命名空间页面获取。
${SCHEDULERX_GROUPID}	GroupId为应用ID，可以在SchedulerX控制台应用管理页面获取。
${SCHEDULERX_APPKEY}	AppKey为应用Key，可以在SchedulerX控制台应用管理页面获取。
SCHEDULERX_AGENT_IMAGE	镜像地址。

安装完成后，可以通过SchedulerX控制台查看实例。

方式三：通过Java SDK部署SchedulerX

如果您的应用为Java应用，除K8s任务外，还需要调度Java程序，您可以使用Java SDK部署。SchedulerX和您的在线业务处于一个进程中。流程和原理如下图所示。

前提条件

创建Kubernetes集群（阿里云容器服务ACK集群或自建Kubernetes集群）。具体操作，请参见创建Kubernetes集群。
开通SchedulerX。
在分布式任务调度平台创建一个应用类型为K8s的应用。具体操作，请参见创建应用。

接入SchedulerX

关于SDK接入，请参见Spring Boot应用接入SchedulerX。

使用K8s任务还需要依赖一个schedulerx-plugin-kubernetes，如下所示。

说明

schedulerx2.version使用最新客户端版本，更多信息，请参见发布记录。

<dependency>
  <groupId>com.aliyun.schedulerx</groupId>
  <artifactId>schedulerx2-spring-boot-starter</artifactId>
  <version>${schedulerx2.version}</version>
</dependency>	
<dependency>
  <groupId>com.aliyun.schedulerx</groupId>
  <artifactId>schedulerx2-plugin-kubernetes</artifactId>
  <version>${schedulerx2-plugin-kubernetes.version}</version>
</dependency>