前置准备

1. 前提条件

通用前提条件（两种方案都需要）：

• 操作系统：SUSE Linux Enterprise Server for SAP Applications 15 SP1 或更高版本

• 软件包：sap-suse-cluster-connector >= 3.1.0，sapstartsrv-resource-agents >= 0.9.1，resource-agents >= 4.x

• 禁用 ASCS 和 ERS 的 systemd 自启动服务

• 安装阿里云专用 VIP 资源代理（aliyun-vpc-move-ip，见本文第 5 章）

STONITH 方案相关前提条件（二者选其一，方案对比见《Infra 选型》第 6 章）：

2. 共享文件系统准备

vers=4,minorversion=0,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport

<nas-endpoint>:/sapmnt/<SID>     /sapmnt/<SID>     nfs     vers=4,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport  0 0
<nas-endpoint>:/usr/sap/<SID>    /usr/sap/<SID>    nfs     vers=4,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport  0 0

# 下载 CPFS-NFS 客户端 RPM 包（SUSE 15 专用）
wget https://cpfs-hangzhou-nfs-client.oss-cn-hangzhou.aliyuncs.com/aliyun-alinas-utils-latest.lp15.x86_64.rpm

# 安装客户端
sudo zypper --no-gpg-checks install -y aliyun-alinas-utils-*.rpm

# 验证安装
which mount.cpfs-nfs
# 预期输出：/usr/sbin/mount.cpfs-nfs

# /sapmnt - CPFS 跨可用区共享
<cpfs file system id>.region.cpfs.aliyuncs.com:/share/<导出目录>   /sapmnt   cpfs-nfs   vers=3,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport,hp_config_dir=/etc/haproxy/   0   0

# /usr/sap - CPFS 跨可用区共享
<cpfs file system id>.region.cpfs.aliyuncs.com:/share/<导出目录>   /usr/sap   cpfs-nfs   vers=3,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport,hp_config_dir=/etc/haproxy/   0   0

/etc/apparmor.d/usr.sbin.haproxy

# 查看 haproxy 的完整 AppArmor profile
cat /etc/apparmor.d/usr.sbin.haproxy

# 快速提取所有路径白名单规则
grep -E '^\s*/' /etc/apparmor.d/usr.sbin.haproxy

# 查看 AppArmor 状态（确认 haproxy profile 处于 enforce 模式）
aa-status | grep haproxy

# 查看 /var/log/aliyun/cpfs/mount.log 获取挂载失败时的详细错误信息
tail -50 /var/log/aliyun/cpfs/mount.log

3. SBD 共享盘准备（仅同可用区、方案 B）

采用 SBD STONITH 方案时，需要一块被两个集群节点同时挂载的共享块设备。阿里云上通过 ESSD 云盘多重挂载（Multi-Attach） 功能实现。规格建议与关键使用限制见《Infra 选型》3.4 节。若采用 fence_aliyun 方案，则不需要这块盘，本章可跳过。

步骤 1：创建云盘

在块存储控制台手动创建云盘，选择与集群节点相同的地域与可用区。云盘类型选择 ESSD 云盘，性能等级 PL0，容量 1 GiB，计费方式选 按量付费，云盘用途选 数据盘，并勾选 多重挂载 功能。

步骤 2：挂载到两个集群节点

创建完成之后，在块存储控制台找到刚刚创建好的 ESSD 云盘，点击「挂载」，将这块云盘分别挂载到集群的两个 ECS 节点（ASCS 节点与 ERS 节点）上。

挂载完成后，可以在云盘控制台看到已经成功挂载到两台 ECS 的信息。

步骤 3：确认设备识别与稳定路径

在 ECS 操作系统上，通过 lsblk 或 fdisk 命令可以查到已经挂载好的磁盘信息：

# 查看新增的 NVMe 数据盘（本例为 1 GiB 的 nvme1n1）
lsblk -o NAME,SIZE,TYPE,SERIAL,MOUNTPOINT

# 通过 by-id 获取稳定路径（推荐在 SBD 配置中使用此路径）
ls -l /dev/disk/by-id/ | grep -i nvme
# 输出示例：
# nvme-Alibaba_Cloud_Elastic_Block_Storage_<云盘serial> -> ../../nvme1n1

<云盘serial> 稳定路径需要记录，在《集群初始化》第 2 章使用。

4. 组网配置

10.0.1.10      sapapp1          # ASCS 节点
10.0.1.11      sapapp2          # ERS 节点（同可用区）
# 或 10.0.2.10  sapapp2          # ERS 节点（跨可用区）
10.0.100.11    vsapascs         # ASCS 虚拟主机名
10.0.100.12    vsapers          # ERS 虚拟主机名

5. STONITH 组件安装

本章按 STONITH 方案分轨执行：方案 A 需要安装 fence_aliyun 及其依赖；aliyun-vpc-move-ip 为两种方案共用；方案 B 所需的 sbd 软件包安装与 softdog watchdog 模块加载，在《集群初始化》第 2 章执行。

方案 A（fence_aliyun）所需组件

安装相关依赖包（仅方案 A 需要，两个节点都执行）：

zypper install libcurl-devel fence-agents
pip3 install pycurl pexpect
pip install aliyun-python-sdk-core aliyun-python-sdk-vpc aliyun-python-sdk-ecs

安装 fence_aliyun（仅方案 A 需要，两个节点都执行）：

curl https://raw.githubusercontent.com/ClusterLabs/fence-agents/refs/heads/main/agents/aliyun/fence_aliyun.py \
  -o /usr/sbin/fence_aliyun
chmod 755 /usr/sbin/fence_aliyun
chown root:root /usr/sbin/fence_aliyun
sed -i "s|@PYTHON@|$(which python3 2>/dev/null || which python 2>/dev/null)|" /usr/sbin/fence_aliyun
sed -i "s|@FENCEAGENTSLIBDIR@|/usr/share/fence|" /usr/sbin/fence_aliyun

两种方案共用的组件

安装 aliyun-vpc-move-ip（VIP 漂移必需，两个节点都执行）：

mkdir -p /usr/lib/ocf/resource.d/aliyun
curl https://raw.githubusercontent.com/ClusterLabs/resource-agents/refs/heads/main/heartbeat/aliyun-vpc-move-ip \
  -o /usr/lib/ocf/resource.d/aliyun/vpc-move-ip
chmod 755 /usr/lib/ocf/resource.d/aliyun/vpc-move-ip
chown root:root /usr/lib/ocf/resource.d/aliyun/vpc-move-ip

6. RAM 角色与权限策略

aliyun-vpc-move-ip 需要 RAM 授权才能调用 VPC 路由表 API，因此两种方案都必须绑定 RAM 角色；方案 A 的 fence_aliyun 隔离动作还需要 ECS 启停权限。两种方案所需的权限策略不同，创建与绑定流程相同。

创建 RAM 策略

方案 A（fence_aliyun）创建 RAM 策略 SAP-HA-ROLE-POLICY，包含以下权限（ECS 启停 + VPC 路由）：

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ecs:StartInstance",
                "ecs:StopInstance",
                "ecs:RebootInstance",
                "ecs:Describe*"
            ],
            "Resource": ["*"]
        },
        {
            "Effect": "Allow",
            "Action": [
                "vpc:CreateRouteEntry",
                "vpc:DeleteRouteEntry",
                "vpc:Describe*"
            ],
            "Resource": ["*"]
        }
    ]
}

方案 B（SBD）创建 RAM 策略 SAP-HA-ROLE-POLICY，仅需 VPC 路由权限（overlay IP 漂移使用），不需要 ECS 启停权限——节点隔离由 SBD 与 watchdog 完成，不调用 ECS API：

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "vpc:CreateRouteEntry",
                "vpc:DeleteRouteEntry",
                "vpc:Describe*"
            ],
            "Resource": ["*"]
        }
    ]
}

创建 RAM 角色并绑定

创建 RAM 角色 SAP-HA-ROLE 并绑定上述策略，然后将此RAM角色绑定到所有集群ECS实例：

在控制台选择对应的 ECS 实例，在"全部操作"中点击"授予 / 收回 RAM 角色"。

在弹出的对话框中，RAM 角色选择在前置步骤中创建的"SAP-HA-ROLE"，并完成授予。

针对 HANA 集群的 ECS 节点，同样执行上述动作。

阿里云 CLI 授权（两种方案都需要）

在 ECS 上安装阿里云 CLI：

/bin/bash -c "$(curl -fsSL https://aliyuncli.alicdn.com/install.sh)"

配置阿里云 CLI 授权：

# aliyun configure --profile ecsRamRoleProfile --mode EcsRamRole
Configuring profile 'ecsRamRoleProfile' in 'EcsRamRole' authenticate mode...

Ecs Ram Role []:


Default Region Id []:

Default Output Format [json]: json (Only support json)
Default Language [zh|en] en:
Saving profile[ecsRamRoleProfile] ...Done.

• Ecs Ram Role: SAP-HA-ROLE

• Default Region Id: 输入 ECS 所在的 region id，如 cn-shanghai

7. 节点间 SSH 互信

分别在两个节点上以 root 用户生成密钥并交换公钥：

ssh-keygen -t rsa -b 4096 -N "" -f /root/.ssh/id_rsa
ssh-copy-id -i /root/.ssh/id_rsa.pub root@<对端节点>

验证：

ssh root@<对端节点> "hostname"

下一步：《集群初始化》——完成集群初始化与 STONITH 配置、隔离验证后，依次进入《SAP 实例安装与集群接管准备》与《ASCS/ERS 集群资源配置》。