阿里云上的SAP高可用架构

1.3.1 Pacemaker集群

Pacemaker是Linux环境下的开源高可用集群资源管理器，是SUSE Linux Enterprise Server for SAP Applications（SLES for SAP）内置的HA组件。它负责：

• 监控集群节点和资源的健康状态

• 在检测到故障时自动执行资源迁移

• 管理虚拟IP地址的漂移

• 协调集群成员之间的仲裁（Quorum）

1.3.2 Corosync

Corosync是集群通信层，提供节点间的心跳检测和消息传递。在阿里云环境中，建议使用UCAST（单播）模式进行通信。

1.3.3 STONITH/Fencing

STONITH（Shoot The Other Node In The Head）是集群隔离机制，用于在节点失去响应时强制关闭该节点，避免脑裂（Split Brain）。阿里云提供专用的STONITH设备fence_aliyun，通过调用阿里云OpenAPI来实现ECS实例的强制重启/关机。

1.3.4 SAP Enqueue Replication

SAP Enqueue Server是SAP系统中管理锁表的关键组件。Enqueue Replication通过在备用节点上维护锁表的实时副本，确保在主节点故障时锁信息不丢失。目前有两个版本：

• ENSA1（Enqueue Replication Server 1）：适用于SAP NetWeaver 7.40/7.50

• ENSA2（Enqueue Replication Server 2）：适用于SAP S/4HANA 1809及更新版本，是当前推荐的标准

1.3.5 SAP HANA System Replication

SAP HANA System Replication（HSR）是HANA数据库内置的数据复制机制，支持同步（sync）和异步（async）模式。在HA场景中使用同步模式，确保主库的每次提交都在备库完成持久化后才返回确认。

2.1.1 ASCS/ERS节点

ASCS和ERS节点的资源需求相对较低，主要消耗CPU和内存用于锁管理和消息路由。

推荐实例族（按代际优先级排序）：

ASCS/ERS节点典型选型建议：

注意：ASCS/ERS两个节点应选择相同的实例规格，因为任一节点都可能同时运行ASCS和ERS实例。

2.1.2 PAS/AAS节点

PAS（Primary Application Server）和AAS（Additional Application Server）承载实际的业务负载，选型需根据SAP Sizing结果确定。这些节点不需要集群化，通过多实例横向扩展（Adding AAS）来提升处理能力和可用性。

常用实例族包括：

2.3.1 IP地址规划

关键点：阿里云上的虚拟IP使用Overlay IP方案（通过路由表实现），由aliyun-vpc-move-ip资源代理管理。这些VIP不需要与物理网段重叠，可以使用独立的IP段。

2.3.2 阿里云OpenAPI端点

集群STONITH设备和VIP资源代理需要通过阿里云OpenAPI进行操作。在VPC内部可以通过内网端点访问，无需配置NAT网关：

• ECS端点：ecs-vpc.<region-id>.aliyuncs.com

• VPC端点：vpc-vpc.<region-id>.aliyuncs.com

2.3.3 /etc/hosts 配置

所有集群节点的/etc/hosts必须包含完整的名称解析（示例）：

10.0.1.10      sapapp1          # ASCS节点
10.0.2.10      sapapp2          # ERS节点
10.0.100.11    vsapascs         # ASCS虚拟主机名
10.0.100.12    vsapers          # ERS虚拟主机名

2.4.1 Simple Mount架构（推荐，适用于新部署）

Simple Mount架构通过NFS共享替代集群控制的文件系统资源，大幅简化集群配置和维护。

NFS Server (阿里云NAS)
├── /sapmnt/<SID>             ──  所有节点NFS挂载
└── /usr/sap/<SID>            ──  所有集群节点NFS挂载
    ├── ASCS<xx>/             ──  ASCS实例目录
    ├── ERS<xx>/              ──  ERS实例目录
    └── SYS/                  ──  系统目录

各节点本地文件系统:
/usr/sap/                     ──  本地XFS（包含sapservices, saphostagent）

各节点的/etc/fstab中配置NFS挂载：

<nas-endpoint>:/sapmnt/<SID>     /sapmnt/<SID>     nfs  defaults  0 0
<nas-endpoint>:/usr/sap/<SID>    /usr/sap/<SID>    nfs  defaults  0 0

2.4.2 传统架构（适用于已有集群）

传统架构为ASCS和ERS各使用独立的NAS文件系统，通过Pacemaker的Filesystem资源代理控制挂载/卸载：

NAS文件系统1 --> /usr/sap/<SID>/ASCS<xx>  (由集群控制挂载)
NAS文件系统2 --> /usr/sap/<SID>/ERS<xx>   (由集群控制挂载)
NFS共享      --> /sapmnt                  (OS层面挂载)
NFS共享      --> /usr/sap/<SID>/SYS       (OS层面挂载)

2.5.1 前提条件

• 操作系统：SUSE Linux Enterprise Server for SAP Applications 15 SP1或更高版本

• 软件包：sap-suse-cluster-connector >= 3.1.0，sapstartsrv-resource-agents >= 0.9.1，resource-agents >= 4.x

• 禁用ASCS和ERS的systemd自启动服务

• 安装阿里云专用STONITH设备（fence_aliyun）和VIP资源代理（aliyun-vpc-move-ip）

2.5.2 阿里云专用组件安装

安装相关依赖包：

# 安装libcurl-devel，fence-agents，pycurl，pexpect
zypper install libcurl-devel
zypper install fence-agents
pip3 install pycurl pexpect

# 安装阿里云SDK
pip install aliyun-python-sdk-core aliyun-python-sdk-vpc aliyun-python-sdk-ecs

安装最新的fence_aliyun（STONITH设备）：

# 下载fence_aliyun
curl https://raw.githubusercontent.com/ClusterLabs/fence-agents/refs/heads/main/agents/aliyun/fence_aliyun.py \
  -o /usr/sbin/fence_aliyun
chmod 755 /usr/sbin/fence_aliyun
chown root:root /usr/sbin/fence_aliyun
# 设置Python路径
sed -i "s|@PYTHON@|$(which python3 2>/dev/null || which python 2>/dev/null)|" /usr/sbin/fence_aliyun
sed -i "s|@FENCEAGENTSLIBDIR@|/usr/share/fence|" /usr/sbin/fence_aliyun

安装aliyun-vpc-move-ip（VIP资源代理）：

mkdir -p /usr/lib/ocf/resource.d/aliyun
curl https://raw.githubusercontent.com/ClusterLabs/resource-agents/refs/heads/main/heartbeat/aliyun-vpc-move-ip \
  -o /usr/lib/ocf/resource.d/aliyun/vpc-move-ip
chmod 755 /usr/lib/ocf/resource.d/aliyun/vpc-move-ip
chown root:root /usr/lib/ocf/resource.d/aliyun/vpc-move-ip

配置RAM角色认证：

创建RAM策略SAP-HA-ROLE-POLICY，包含以下权限：

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ecs:StartInstance",
                "ecs:StopInstance",
                "ecs:RebootInstance",
                "ecs:Describe*"
            ],
            "Resource": ["*"]
        },
        {
            "Effect": "Allow",
            "Action": [
                "vpc:CreateRouteEntry",
                "vpc:DeleteRouteEntry",
                "vpc:Describe*"
            ],
            "Resource": ["*"]
        }
    ]
}

创建RAM角色SAP-HA-ROLE并绑定该策略，然后将此RAM角色绑定到所有集群ECS实例。

阿里云CLI授权：

在ECS上安装阿里云CLI：

/bin/bash -c "$(curl -fsSL https://aliyuncli.alicdn.com/install.sh)"

配置阿里云CLI授权：

# aliyun configure --profile ecsRamRoleProfile --mode EcsRamRole
Configuring profile 'ecsRamRoleProfile' in 'EcsRamRole' authenticate mode...
Ecs Ram Role []:
Default Region Id []:
Default Output Format [json]: json (Only support json)
Default Language [zh|en] en: 
Saving profile[ecsRamRoleProfile] ...Done.

• Ecs Ram Role: SAP-HA-ROLE

• Default Region Id: 输入ECS所在的region id，如cn-shanghai

2.5.3 集群初始化

在节点1执行ha-cluster-init脚本。

ha-cluster-init -y -i eth0 -u

在节点2执行ha-cluster-join脚本。

ha-cluster-join -y -c <节点1的node名称或ip地址> -i eth0

在阿里云环境中使用udpu（单播）模式，对应参数 "-u"。

2.5.4 ENSA2 Simple Mount集群资源配置（推荐）

前置条件检查

在Simple Mount资源配置下，sapstartsrv服务也将作为集群资源被集群独立管理，控制ASCS和ERS对应的sapstartsrv服务在哪个节点上运行。

因此需要检查当前操作系统中已经包含资源代理：sapstartsrv-resource-agents。

# 检查系统中是否已经安装sapstartsrv-resource-agents资源代理
ls /usr/lib/ocf/resource.d/suse/SAPStartSrv

# 如系统中无法找到上述文件，执行下面的命令进行安装
zypper install sapstartsrv-resource-agents

这个包来自 SLE-Module-SAP-Applications 模块。如果 zypper 找不到这个包，检查以下模块是否启用：

SUSEConnect --list-extensions | grep SAP

如果模块未激活，执行以下操作来激活模块：

SUSEConnect -p sle-module-sap-applications/<版本号>/x86_64

此外，由于sapstartsrv服务由集群控制，因此建议禁用SAP系统systemd自启动服务，避免发生切换时，由于sapstartsrv进程冲突导致集群无法正常启动SAP资源。

# 检查当前机器的SAP实例systemd自启动服务
systemctl list-unit-files | grep SAP

# 根据上述命令的输出，执行下面的命令禁用该服务的开机自启动
systemctl disable SAP<SID>_<instance number>   # ASCS
systemctl disable SAP<SID>_<instance number>   # ERS

集群脚本实例

以下是基于ENSA2 Simple Mount架构在阿里云上的完整Pacemaker资源配置示例（SID=EN2，ASCS实例号=00，ERS实例号=10）：

# === 集群全局属性 ===
property cib-bootstrap-options: \
    stonith-enabled="true" \
    stonith-action="reboot" \
    stonith-timeout="150"

rsc_defaults rsc-options: \
    resource-stickiness="1" \
    migration-threshold="3"

op_defaults op-options: \
    timeout="600" \
    record-pending=true

# === STONITH资源（阿里云fence_aliyun） ===
primitive res_ALIYUN_STONITH_1 stonith:fence_aliyun \
        op monitor interval=120 timeout=60 \
        params filter="InstanceIds=[\"<ECS Id1>\", \"<ECS Id2>\"]" plug=<ECS Id1> ram_role=SAP-HA-ROLE region=<region ID> \
        meta target-role=Started

primitive res_ALIYUN_STONITH_2 stonith:fence_aliyun \
        op monitor interval=120 timeout=60 \
        params filter="InstanceIds=[\"<ECS Id1>\", \"<ECS Id2>\"]" plug=<ECS Id2> ram_role=SAP-HA-ROLE region=<region ID> \
        meta target-role=Started

# STONITH位置约束：节点不运行自己的STONITH资源
location loc_stonith1_not_on_sapapp1 res_ALIYUN_STONITH_1 -inf: sapapp1
location loc_stonith2_not_on_sapapp2 res_ALIYUN_STONITH_2 -inf: sapapp2

# === ASCS资源 ===
# ASCS虚拟IP（使用阿里云vpc-move-ip）
# routing_table参数的值为ECS所在VPC对应的默认路由表ID
primitive rsc_ip_EN2_ASCS00 ocf:aliyun:vpc-move-ip \
    params address=<ascs-vip> \
           routing_table=<routing-table-id> \
           endpoint=vpc-vpc.<region-id>.aliyuncs.com \
           interface=eth0 \
    op monitor interval=10s timeout=20s

# ASCS SAPStartSrv资源（Simple Mount架构专用）
primitive rsc_SAPStartSrv_EN2_ASCS00 ocf:suse:SAPStartSrv \
    params InstanceName=EN2_ASCS00_sapen2as

# ASCS SAPInstance资源
primitive rsc_sap_EN2_ASCS00 SAPInstance \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=EN2_ASCS00_sapen2as \
           START_PROFILE="/sapmnt/EN2/profile/EN2_ASCS00_sapen2as" \
           AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 \
         migration-threshold=1 priority=10

# === ERS资源 ===
# ERS虚拟IP
# routing_table参数的值为ECS所在VPC对应的默认路由表ID
primitive rsc_ip_EN2_ERS10 ocf:aliyun:vpc-move-ip \
    params address=<ers-vip> \
           routing_table=<routing-table-id> \
           endpoint=vpc-vpc.<region-id>.aliyuncs.com \
           interface=eth0 \
    op monitor interval=10s timeout=20s

# ERS SAPStartSrv资源
primitive rsc_SAPStartSrv_EN2_ERS10 ocf:suse:SAPStartSrv \
    params InstanceName=EN2_ERS10_sapen2er

# ERS SAPInstance资源
primitive rsc_sap_EN2_ERS10 SAPInstance \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=EN2_ERS10_sapen2er \
           START_PROFILE="/sapmnt/EN2/profile/EN2_ERS10_sapen2er" \
           AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

# === 资源组 ===
group grp_EN2_ASCS00 rsc_ip_EN2_ASCS00 rsc_SAPStartSrv_EN2_ASCS00 rsc_sap_EN2_ASCS00 \
    meta resource-stickiness=3000
group grp_EN2_ERS10 rsc_ip_EN2_ERS10 rsc_SAPStartSrv_EN2_ERS10 rsc_sap_EN2_ERS10

# === 约束 ===
# ASCS和ERS不能运行在同一节点
colocation col_sap_EN2_not_both -5000: grp_EN2_ERS10 grp_EN2_ASCS00

# ASCS优先在ERS所在节点启动（故障切换后）
location loc_sap_EN2_failover_to_ers rsc_sap_EN2_ASCS00 \
    rule 2000: runs_ers_EN2 eq 1

# ASCS先于ERS启动
order ord_sap_EN2_first_ascs Optional: rsc_sap_EN2_ASCS00:start rsc_sap_EN2_ERS10:stop

2.5.5 ENSA1传统架构集群资源配置

对于仍在使用SAP NetWeaver 7.40/7.50的场景，使用ENSA1架构。与ENSA2相比，主要区别在于：

• 使用Filesystem资源代理控制ASCS和ERS的文件系统挂载/卸载

• 不使用SAPStartSrv资源代理

• 资源组中包含Filesystem资源

# ASCS文件系统资源（传统架构）
primitive rsc_fs_EN2_ASCS00 Filesystem \
    params device="<nas-mount-point>:/" \
           directory="/usr/sap/EN2/ASCS00" \
           fstype=nfs \
           options="vers=4,minorversion=0,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2" \
    op start timeout=60s interval=0 \
    op stop timeout=60s interval=0 \
    op monitor interval=20s timeout=40s

# 资源组包含文件系统
group grp_EN2_ASCS00 rsc_ip_EN2_ASCS00 rsc_fs_EN2_ASCS00 rsc_sap_EN2_ASCS00 \
    meta resource-stickiness=3000

2.5.6 sap-suse-cluster-connector集成

sap-suse-cluster-connector实现了SAP sapstartsrv与Pacemaker集群之间的通信接口（API v3），使SAP管理员通过sapcontrol或SAP MMC执行的操作能正确通知集群，避免集群误判。

安装和配置：

# 安装
zypper install sap-suse-cluster-connector

# 将<sid>adm用户加入haclient组
usermod -a -G haclient <sid>adm

# 在SAP实例profile中添加
service/halib = $(DIR_EXECUTABLE)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

3.1.1 Performance Optimized方案

二次节点配置表预加载（preload），数据常驻内存，切换时间通常很短。支持logreplay_readaccess操作模式，允许在二次节点上进行只读查询。

3.1.2 Cost Optimized方案

二次节点在正常运行时同时运行一个非复制的SAP HANA实例（如QAS），通过Pacemaker的反亲和约束（anti-colocation）管理。当主库需要切换时，先自动停止非复制实例，再执行takeover。

3.7.1 HANA System Replication配置

在配置集群之前，需先完成HANA System Replication的设置：

# 在Primary节点 (hana01) 上启用SR
hdbnsutil -sr_enable --name=SiteA

# 在Secondary节点 (hana02) 上注册
hdbnsutil -sr_register --remoteHost=hana01 --remoteInstance=<inst_nr> \
    --replicationMode=sync --operationMode=logreplay --name=SiteB

3.7.2 HA/DR Provider Hook脚本配置

SUSE提供了三个关键的HA/DR provider hook脚本，需在HANA的global.ini中配置：

susHanaSR.py — 监控SR连接状态变化（必需）：

[ha_dr_provider_sushanasr]
provider = susHanaSR
path = /usr/share/SAPHanaSR-angi/
execution_order = 1

[trace]
ha_dr_sushanasr = info

susTkOver.py — 在takeover前进行检查，阻止非预期的手动takeover：

[ha_dr_provider_sustkover]
provider = susTkOver
path = /usr/share/SAPHanaSR-angi/
execution_order = 2

[trace]
ha_dr_sustkover = info

susChkSrv.py — 监控服务状态变化，加速indexserver故障时的切换：

[ha_dr_provider_suschksrv]
provider = susChkSrv
path = /usr/share/SAPHanaSR-angi/
execution_order = 3
action_on_lost = stop

[trace]
ha_dr_suschksrv = info

配置sudo权限：

创建/etc/sudoers.d/SAPHanaSR：

<sid>adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_<sid>_*
<sid>adm ALL=(ALL) NOPASSWD: /usr/bin/SAPHanaSR-hookHelper --sid=<SID> *

3.7.3 STONITH/Fencing配置

参考SAP应用服务器高可用架构规划的fence_aliyun方案（2.5.2 阿里云专用组件安装）。

3.7.4 HANA集群资源配置（Performance Optimized）

以下为完整的HANA Pacemaker集群资源配置示例（SID=HA1，实例号=10）：

# === 集群全局属性 ===
property cib-bootstrap-options: \
    stonith-enabled="true" \
    stonith-action="reboot" \
    stonith-timeout="150" \
    priority-fencing-delay="30"

rsc_defaults rsc-options: \
    resource-stickiness="1000" \
    migration-threshold="5000"

op_defaults op-options: \
    timeout="600" \
    record-pending=true

# === STONITH ===

# 阿里云fence_aliyun（与应用层类似）
primitive res_ALIYUN_STONITH_1 stonith:fence_aliyun \
        op monitor interval=120 timeout=60 \
        params filter="InstanceIds=[\"<ECS Id1>\", \"<ECS Id2>\"]" plug=<ECS Id1> ram_role=SAP-HA-ROLE region=<region ID> \
        meta target-role=Started
primitive res_ALIYUN_STONITH_2 stonith:fence_aliyun \
        op monitor interval=120 timeout=60 \
        params filter="InstanceIds=[\"<ECS Id1>\", \"<ECS Id2>\"]" plug=<ECS Id2> ram_role=SAP-HA-ROLE region=<region ID> \
        meta target-role=Started
location loc_node1_stonith_not_on_node1 res_ALIYUN_STONITH_1 -inf: <node1>
location loc_node2_stonith_not_on_node2 res_ALIYUN_STONITH_2 -inf: <node2>

# === SAPHanaTopology ===
primitive rsc_SAPHanaTop_HA1_HDB10 ocf:suse:SAPHanaTopology \
    op start interval=0 timeout=600 \
    op stop interval=0 timeout=300 \
    op monitor interval=50 timeout=600 \
    params SID=HA1 InstanceNumber=10

clone cln_SAPHanaTop_HA1_HDB10 rsc_SAPHanaTop_HA1_HDB10 \
    meta clone-node-max=1 interleave=true

# === SAPHanaController ===
primitive rsc_SAPHanaCon_HA1_HDB10 ocf:suse:SAPHanaController \
    op start interval=0 timeout=3600 \
    op stop interval=0 timeout=3600 \
    op promote interval=0 timeout=900 \
    op demote interval=0 timeout=320 \
    op monitor interval=60 role=Promoted timeout=700 \
    op monitor interval=61 role=Unpromoted timeout=700 \
    params SID=HA1 InstanceNumber=10 \
           PREFER_SITE_TAKEOVER=true \
           DUPLICATE_PRIMARY_TIMEOUT=7200 \
           AUTOMATED_REGISTER=false \
    meta priority=100

clone mst_SAPHanaCon_HA1_HDB10 rsc_SAPHanaCon_HA1_HDB10 \
    meta clone-node-max=1 promotable=true interleave=true maintenance=true

# === 虚拟IP ===
# Primary VIP
primitive rsc_ip_HA1_HDB10 ocf:aliyun:vpc-move-ip \
     params address=10.0.100.20 routing_table=<rt-id> \
            endpoint=vpc-vpc.<region-id>.aliyuncs.com interface=eth0

# === 约束 ===
# VIP跟随Promoted的HANA
colocation col_saphana_ip_HA1_HDB10 2000: \
    rsc_ip_HA1_HDB10:Started mst_SAPHanaCon_HA1_HDB10:Promoted

# Topology先于Controller启动
order ord_saphana_HA1_HDB10 Optional: \
    cln_SAPHanaTop_HA1_HDB10 mst_SAPHanaCon_HA1_HDB10

3.7.5 关键参数说明

3.7.6 Active/Active Read-Enabled（可选）

如果启用了logreplay_readaccess操作模式，可以为Secondary添加只读VIP：

primitive rsc_ip_HA1_HDB10_readenabled ocf:aliyun:vpc-move-ip \
     params address=10.0.100.20 routing_table=<rt-id> \
            endpoint=vpc-vpc.<region-id>.aliyuncs.com interface=eth0

colocation col_saphana_ip_HA1_HDB10_readenabled 2000: \
    rsc_ip_HA1_HDB10_readenabled:Started mst_SAPHanaCon_HA1_HDB10:Unpromoted