文档

调度集群管理概述

更新时间:

Dataphin支持连接不同调度集群,并将所有集群可用于调度的资源进行统一管理,使每个租户可以使用不同集群的资源用于创建自定义资源组,从而解决跨Region数据传输以及资源隔离等问题。

使用限制

  • 当前仅支持基于最新架构部署的客户使用调度集群管理功能,详情请联系产品运维团队。

  • 除默认集群(Dataphin集群)外,最多可注册5个集群。

  • 元仓租户支持注册及管理调度集群,其他租户仅支持查看有使用权限的集群。

权限说明

仅支持元仓租户的超级管理员系统管理员注册及管理调度集群。

功能概述

image

Dataphin中每个租户均有一个默认调度集群,Dataphin集群。同时支持元仓租户下注册可用于任务调度的自定义集群,并指定每个自定义集群可被使用的关联租户。通过该功能,在跨Region数据传输场景中可以有效解决集群之间外网传输数据带来的安全性低、带宽成本高、传输效率低等问题。

例如:Dataphin部署在本地机房,需要通过Dataphin将某个云上业务数据库A的数据集成到与A在同一Region下的业务数据库B。您可以首先在云上通过容器管理服务创建K8s(Kubernetes)集群,指定可用于Dataphin任务调度的机器,再将该集群注册到Dataphin中并创建对应的自定义资源组。创建集成任务时,为任务指定对应集群下创建好的调度资源组,从而实现同一Region下的数据传输,而无需与Dataphin集群产生数据交换。

调度集群管理入口

  1. 使用元仓租户的超级管理员系统管理员登录Dataphin。

  1. 在Dataphin首页,单击顶部菜单栏中的管理中心

  2. 按照下图操作指引,进入调度集群管理页面。

    image.png

调度集群管理页面介绍

调度集群管理页面主要由功能区、调度集群列表组成。您可以在调度集群管理页面进行相关的调度集群管理操作。

image.png

区域

描述

功能区

  • 筛选:支持根据调度集群负责人或集群状态筛选调度集群。

  • 搜索:支持通过输入集群名称来筛选调度集群。

  • 注册调度集群:单击+注册调度集群,可以进入注册调度集群对话框。具体操作,请参见注册调度集群

调度集群列表

为您展示已经注册的调度集群列表基本信息,包括调度集群名称/ID负责人资源总量资源监控状态描述关联租户最近更新人/时间以及支持的管理操作。

说明
  • 资源总量为系统从自定义集群采集到的,可用于Dataphin任务调度的指定机器的可用资源总量(CPU和内存)。

  • 调度集群包括等待资源上报、等待超时、正常、异常状态。更多信息,请参见调度集群状态

  • 编辑:单击image.png可以编辑选中的调度集群。

  • 集群连接配置引导:单击image.png可以在集群连接配置引导对话框中查看如何进行自定义集群的连接与授权配置。仅连接配置成功的集群可用于创建自定义资源组。具体操作,请参见配置集群连接

  • 删除:单击image.png可以删除未创建自定义资源组调度集群。

    重要
    • 删除后,已在目标集群部署的Agent应用将停止运行且不可恢复,同时建议联系目标集群负责人删除对应的容器(Pod), 具体删除命令sh uninstall.sh

    • Dataphin集群为系统默认集群,不支持编辑连接配置删除操作。

调度集群状态

调度集群包括等待资源上报、等待超时、正常、异常状态。各状态说明如下:

说明

正常状态的集群可用于创建自定义资源组。如果集群下已创建自定义资源组但状态变更为异常,则基于该集群创建的自定义资源组也不可使用。

参数

描述

等待资源上报

集群仅注册为进行集群连接配置,或已进行集群连接配置,但Dataphin未接收到指定集群上报的资源信息时,处于等待资源上报状态。具体操作,请参见配置集群连接

等待超时

集群注册后超过2小时仍未获取到集群上报的信息,将进入等待超时状态。此状态下建议联系集群负责人确认是否已部署Agent应用或目标集群是否有可用机器。

正常

集群已成功注册并完成集群连接配置,Dataphin已持续、稳定的接收到指定集群上报的资源信息,可以正常使用。

异常

如果集群之前为正常状态,但是超过一定时间,将进入异常状态。请检查集群的Agent应用是否正常或联系集群负责人检查目标集群是否有可用机器。

  • 本页导读 (0)
文档反馈