SUSE Linux Enterprise Server üzerinde HSR'ye sahip SAP HANA ölçeği genişletme sistemi için yüksek kullanılabilirlik

Bu makalede, Azure SUSE Linux Enterprise Server sanal makinelerinde (VM) HANA sistem çoğaltması (HSR) ve Pacemaker ile ölçek genişletme yapılandırmasında yüksek oranda kullanılabilir bir SAP HANA sisteminin nasıl dağıtılacağı açıklanmaktadır. Sunulan mimarideki paylaşılan dosya sistemleri NFS'ye bağlanır ve Azure Dosyalar üzerinde Azure NetApp Files veya NFS paylaşımı tarafından sağlanır.

Örnek yapılandırmalarda, yükleme komutlarında vb. HANA örneği 03 ve HANA sistem kimliği HN1'dir.

Başlamadan önce aşağıdaki SAP notlarına ve belgelerine bakın:

• Azure NetApp Files belgeleri
• Azure Dosyalar belgeleri
• SAP Not 1928533 şunları içerir:
  • SAP yazılımının dağıtımı için desteklenen Azure VM boyutlarının listesi
  • Azure VM boyutları için önemli kapasite bilgileri
  • Desteklenen SAP yazılımı, işletim sistemi (OS) ve veritabanı birleşimleri
  • Microsoft Azure'da Windows ve Linux için gerekli SAP çekirdek sürümü
• SAP Not 2015553: Azure'da SAP tarafından desteklenen SAP yazılım dağıtımları için önkoşulları listeler
• SAP Not 2205917: SAP Uygulamaları için SUSE Linux Enterprise Server için önerilen işletim sistemi ayarlarını içerir
• SAP Not 1944799: SAP Uygulamaları için SUSE Linux Enterprise Server için SAP Yönergelerini içerir
• SAP Not 2178632: Azure'da SAP için bildirilen tüm izleme ölçümleri hakkında ayrıntılı bilgi içerir
• SAP Not 2191498: Azure'da Linux için gerekli SAP Konak Aracısı sürümünü içerir
• SAP Not 2243692: Azure'da Linux üzerinde SAP lisansı hakkında bilgi içerir
• SAP Not 1984787: SUSE Linux Enterprise Server 12 hakkında genel bilgiler içerir
• SAP Not 1999351: SAP için Azure Gelişmiş İzleme Uzantısı için ek sorun giderme bilgileri içerir
• SAP Not 1900823: SAP HANA depolama gereksinimleri hakkında bilgi içerir
• SAP Community Wiki: Linux için gerekli tüm SAP notlarını içerir
• Linux üzerinde SAP için Azure Sanal Makineler planlama ve uygulama
• Linux üzerinde SAP için Azure Sanal Makineler dağıtımı
• Linux üzerinde SAP için Azure Sanal Makineler DBMS dağıtımı
• SUSE SAP HA En İyi Uygulama Kılavuzları: NetWeaver Yüksek Kullanılabilirliği ve SAP HANA Sistem Çoğaltma'yı şirket içinde ayarlamak için gerekli tüm bilgileri içerir (genel bir temel olarak kullanılır; çok daha ayrıntılı bilgi sağlarlar)
• SUSE Yüksek Kullanılabilirlik Uzantısı 12 SP5 Sürüm Notları
• HANA sistem çoğaltması için SUSE HA kümesinde başarısız NFS paylaşımını işleme
• SAP HANA için Azure NetApp Files üzerinde NFS v4.1 birimleri

Genel bakış

HANA ölçek genişletme yüklemelerinde HANA yüksek kullanılabilirliği elde etmek için bir yöntem, HANA sistem çoğaltmasını yapılandırmak ve çözümü Pacemaker kümesiyle otomatik yük devretmeye izin verecek şekilde korumaktır. Etkin bir düğüm başarısız olduğunda, küme HANA kaynaklarını diğer siteye devreder.
Sunulan yapılandırmada her sitede üç HANA düğümü ve bölünmüş beyin senaryolarını önlemek için çoğunluk oluşturucu düğümü gösterilmektedir. Yönergeler, HANA DB düğümleri olarak daha fazla VM içerecek şekilde uyarlanabilir.

Sunulan mimarideki HANA paylaşılan dosya sistemi/hana/shared, Azure Dosyalar üzerinde Azure NetApp Files veya NFS paylaşımı tarafından sağlanabilir. HANA paylaşılan dosya sistemi, aynı HANA sistem çoğaltma sitesindeki her HANA düğümüne bağlı NFS'dir. Dosya sistemleri /hana/data ve /hana/log yerel dosya sistemleridir ve HANA DB düğümleri arasında paylaşılmaz. SAP HANA, paylaşılmayan modda yüklenir.

Önerilen SAP HANA depolama yapılandırmaları için bkz . SAP HANA Azure VM'leri depolama yapılandırmaları.

Önceki diyagramda, SAP HANA ağ önerilerine uyularak bir Azure sanal ağı içinde üç alt ağ temsil edilir:

• istemci iletişimi için - client 10.23.0.0/24
• iç HANA düğümler arası iletişim için - inter 10.23.1.128/26
• HANA sistem çoğaltması için - hsr 10.23.1.192/26

/hana/data /hana/log Ve yerel disklere dağıtıldığından, depolama ile iletişim için ayrı alt ağ ve ayrı sanal ağ kartları dağıtmak gerekmez.

Azure NetApp Files kullanıyorsanız, için /hana/sharedNFS birimleri ayrı bir alt ağda dağıtılır ve Azure NetApp Files: anf 10.23.1.0/26'ya devredilir.

Altyapıyı hazırlama

Aşağıdaki yönergelerde, kaynak grubunu, üç Azure ağ alt ağına sahip Azure sanal ağını oluşturduğunuzu varsayarız: client, inter ve hsr.

Azure portalı aracılığıyla Linux sanal makinelerini dağıtma

1. Azure VM'lerini dağıtma.

   Bu belgede sunulan yapılandırma için yedi sanal makine dağıtın:

   • HANA çoğaltma sitesi 1 için HANA DB düğümü olarak hizmet vermek üzere üç sanal makine: hana-s1-db1, hana-s1-db2 ve hana-s1-db3
   • HANA çoğaltma sitesi 2 için HANA DB düğümleri olarak hizmet vermek üzere üç sanal makine: hana-s2-db1, hana-s2-db2 ve hana-s2-db3
   • çoğunluk oluşturucu olarak hizmet veren küçük bir sanal makine: hana-s-mm

   SAP DB HANA düğümleri olarak dağıtılan VM'ler, SAP HANA Donanım dizininde yayımlandığı şekilde HANA için SAP tarafından onaylanmalıdır. HANA DB düğümlerini dağıtırken Hızlandırılmış Ağ'ın seçili olduğundan emin olun.

   Çoğunluk oluşturucu düğümü için, bu VM SAP HANA kaynaklarının hiçbirini çalıştırmadığından küçük bir VM dağıtabilirsiniz. Çoğunluk oluşturucu SANAL makinesi, bölünmüş beyin senaryosunda tek sayıda küme düğümü elde etmek için küme yapılandırmasında kullanılır. Çoğunluk oluşturucu VM'sinin bu örnekte alt ağda yalnızca bir sanal ağ arabirimine client ihtiyacı vardır.

   ve /hana/logiçin /hana/data yerel yönetilen diskleri dağıtın. ve /hana/log için /hana/data önerilen en düşük depolama yapılandırması SAP HANA Azure VM'leri depolama yapılandırmaları bölümünde açıklanmıştır.

   Sanal ağ alt ağındaki her VM için birincil ağ arabirimini dağıtın client .
   VM Azure portalı aracılığıyla dağıtıldığında, ağ arabirimi adı otomatik olarak oluşturulur. Bu basitlik yönergelerinde, Azure sanal ağ alt ağına hana-s1-db1-client, hana-s1-db2-client, hana-s1-db3-client vb. olarak eklenen client otomatik olarak oluşturulan birincil ağ arabirimlerine başvuracağız.

   Önemli

   • Seçtiğiniz işletim sisteminin kullandığınız belirli VM türlerinde SAP HANA için SAP sertifikalı olduğundan emin olun. BU türlerde SAP HANA sertifikalı VM türlerinin ve işletim sistemi sürümlerinin listesi için SAP HANA sertifikalı IaaS platformları sitesine gidin. Bu tür için SAP HANA tarafından desteklenen işletim sistemi sürümlerinin tam listesini almak için listelenen VM türünün ayrıntılarına tıklayın.
   • Azure Dosyalar'de NFS'de dağıtmayı /hana/shared seçerseniz, SLES 15 SP2 ve üzeri sürümlerine dağıtmanızı öneririz.

2. Sanal ağ alt ağında inter her HANA DB sanal makinesi için birer tane olan altı ağ arabirimi oluşturun (bu örnekte hana-s1-db1-inter, hana-s1-db2-inter, hana-s1-db3-inter, hana-s2-db1-inter, hana-s2-db2-inter ve hana-s2-db3-inter).

3. Sanal ağ alt ağında hsr (bu örnekte hana-s1-db1-hsr, hana-s1-db2-hsr, hana-s1-db3-hsr, hana-s2-db1-hsr, hana-s2-db2-hsr ve hana-s2-db3-hsr) her HANA DB sanal makinesi için birer tane olan altı ağ arabirimi oluşturun.

4. Yeni oluşturulan sanal ağ arabirimlerini ilgili sanal makinelere ekleyin:

   1. Azure portalında sanal makineye gidin.
   2. Sol bölmede Sanal Makineler'ı seçin. Sanal makine adına (örneğin, hana-s1-db1) filtreleyin ve ardından sanal makineyi seçin.
   3. Genel Bakış bölmesinde Durdur'u seçerek sanal makineyi serbest bırakın.
   4. Ağ'ı seçin ve ardından ağ arabirimini ekleyin. Ağ arabirimi ekle açılan listesinde ve hsr alt ağları için inter önceden oluşturulmuş ağ arabirimlerini seçin.
   5. Kaydet'i seçin.
   6. Kalan sanal makineler için b ile e arasındaki adımları yineleyin (örneğimizde hana-s1-db2, hana-s1-db3, hana-s2-db1, hana-s2-db2 ve hana-s2-db3).
   7. Sanal makineleri şimdilik durdurulmuş durumda bırakın. Ardından, yeni eklenen tüm ağ arabirimleri için hızlandırılmış ağ oluşturmayı etkinleştireceğiz.

5. Aşağıdaki adımları uygulayarak ve hsr alt ağlarına yönelik ek ağ arabirimleri için inter hızlandırılmış ağ oluşturmayı etkinleştirin:

   1. Azure portalında Azure Cloud Shell'i açın.

   2. ve hsr alt ağlarına bağlı inter ek ağ arabirimleri için hızlandırılmış ağ oluşturmayı etkinleştirmek için aşağıdaki komutları yürütebilirsiniz.

      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db1-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db2-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db3-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db1-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db2-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db3-inter --accelerated-networking true
      
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db1-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db2-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db3-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db1-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db2-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db3-hsr --accelerated-networking true
      

6. HANA DB sanal makinelerini başlatma

Azure yük dengeleyiciyi yapılandırma

VM yapılandırması sırasında ağ bölümünde yük dengeleyiciden çıkma seçeneğiniz vardır. HANA veritabanının yüksek kullanılabilirlik kurulumu için standart yük dengeleyiciyi ayarlamak için aşağıdaki adımları izleyin.

# Create the load balancer resource with frontend IP. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyDBFrontendIpName

# Create the health probe
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyDBHealthProbe --protocol tcp --port MyDBHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyDBRuleName --protocol All --frontend-ip-name MyDBFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyDBHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 

# Add database VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name DBVm1IpConfigName --nic-name DBVm1NicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name DBVm2IpConfigName --nic-name DBVm2NicName -g MyResourceGroup --lb-name MyLB

# Define variables for Resource Group, and Database VMs.

rg_name="resourcegroup-name"
vm1_name="db1-name"
vm2_name="db2-name"

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

lb_name="sap-db-sid-ilb"
bkp_name="db-backendpool"
db_fip_name="db-frontendip"

db_hp_name="db-healthprobe"
db_hp_port="625<instance-no>"

db_rule_name="db-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name. 
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource with frontend IP.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $db_fip_name
 
# Create the health probe
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $db_hp_name --protocol tcp --port $db_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $db_rule_name --protocol All --frontend-ip-name $db_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $db_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add database VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
dbfip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $db_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $db_fip_name --private-ip-address $dbfip

# Create frontend IP configurations
$db_fip = New-AzLoadBalancerFrontendIpConfig -Name MyDBFrontendIpName -SubnetId MyDBSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probe
$db_healthprobe = New-AzLoadBalancerProbeConfig -Name MyDBHealthProbe -Protocol 'tcp' -Port MyDBHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rule
$db_rule = New-AzLoadBalancerRuleConfig -Name MyDBRuleName -Probe $db_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $db_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $db_fip -BackendAddressPool $bePool -LoadBalancingRule $db_rule -Probe $db_healthprobe

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'db1-name'
$vm2_name = 'db2-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-db-sid-ilb'
$bkp_name = 'db-backendpool'
$db_fip_name = 'db-frontendip'
 
$db_hp_name = 'db-healthprobe'
$db_hp_port = '625<instance-no>'
 
$db_rule_name = 'db-lb-rule'
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$db_lb_fip = @{
    Name = $db_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$db_fip = New-AzLoadBalancerFrontendIpConfig @db_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe
 
$db_probe = @{
    Name = $db_hp_name
    Protocol = 'tcp'
    Port = $db_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$db_healthprobe = New-AzLoadBalancerProbeConfig @db_probe
    
# Create load balancing rule
 
$db_lbrule = @{
    Name = $db_rule_name
    Probe = $db_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $db_fip
    BackendAddressPool = $bePool 
} 
$db_rule = New-AzLoadBalancerRuleConfig @db_lbrule -EnableFloatingIP 
 
# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $db_fip
    BackendAddressPool = $bePool
    LoadBalancingRule = $db_rule
    Probe = $db_healthprobe
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add DB VMs in backend pool
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

NFS dağıtma

için Azure yerel NFS'yi dağıtmak için /hana/sharediki seçenek vardır. NFS birimini Azure NetApp Files'a veya NFS paylaşımına Azure Dosyalar dağıtabilirsiniz. Azure dosyaları NFSv4.1 protokollerini desteklerken, Azure NetApp dosyalarında NFS hem NFSv4.1 hem de NFSv3'ü destekler.

Sonraki bölümlerde NFS dağıtma adımları açıklanmaktadır. Seçeneklerden yalnızca birini seçmeniz gerekir.

Azure NetApp Files altyapısını dağıtma

Dosya sistemi için Azure NetApp Files birimlerini dağıtın /hana/shared . Her HANA sistem çoğaltma sitesi için ayrı /hana/shared bir birim gerekir. Daha fazla bilgi için bkz . Azure NetApp Files altyapısını ayarlama.

Bu örnekte aşağıdaki Azure NetApp Files birimleri kullanılmıştır:

• birim HN1-shared-s1 (nfs://10.23.1.7/ HN1-shared-s1)
• volume HN1-shared-s2 (nfs://10.23.1.7/ HN1-shared-s2)

NFS'yi Azure Dosyalar altyapısında dağıtma

Dosya sistemi için Azure Dosyalar NFS paylaşımlarını dağıtın/hana/shared. Her HANA sistem çoğaltma sitesi için ayrı /hana/shared bir Azure Dosyalar NFS paylaşımı gerekir. Daha fazla bilgi için bkz . NFS paylaşımı oluşturma.

Bu örnekte, aşağıdaki Azure Dosyalar NFS paylaşımları kullanılmıştır:

• share hn1-shared-s1 (sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1)
• share hn1-shared-s2 (sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2)

İşletim sistemi yapılandırması ve hazırlığı

Sonraki bölümlerdeki yönergeler aşağıdaki kısaltmalardan biriyle ön eklenmiştir:

• [A]: Çoğunluk oluşturucu da dahil olmak üzere tüm düğümler için geçerlidir
• [AH]: Tüm HANA DB düğümleri için geçerlidir
• [M]: Yalnızca çoğunluk oluşturucu düğümü için geçerlidir
• [AH1]: SITE 1'de tüm HANA DB düğümleri için geçerlidir
• [AH2]: SITE 2'de tüm HANA DB düğümleri için geçerlidir
• [1]: Yalnızca HANA DB düğüm 1, SİTE 1 için geçerlidir
• [2]: Yalnızca HANA DB düğüm 1, SİTE 2 için geçerlidir

Aşağıdaki adımları uygulayarak işletim sisteminizi yapılandırın ve hazırlayın:

1. [A] Sanal makinelerde konak dosyalarını koruyun. Tüm alt ağlar için girdileri ekleyin. Bu örnek için aşağıdaki girdiler eklendi /etc/hosts .

   # Client subnet
   10.23.0.19      hana-s1-db1
   10.23.0.20      hana-s1-db2
   10.23.0.21      hana-s1-db3
   10.23.0.22      hana-s2-db1
   10.23.0.23      hana-s2-db2
   10.23.0.24      hana-s2-db3
   10.23.0.25      hana-s-mm    
   
   # Internode subnet
   10.23.1.132     hana-s1-db1-inter
   10.23.1.133     hana-s1-db2-inter
   10.23.1.134     hana-s1-db3-inter
   10.23.1.135     hana-s2-db1-inter
   10.23.1.136     hana-s2-db2-inter
   10.23.1.137     hana-s2-db3-inter
   
   # HSR subnet
   10.23.1.196     hana-s1-db1-hsr
   10.23.1.197     hana-s1-db2-hsr
   10.23.1.198     hana-s1-db3-hsr
   10.23.1.199     hana-s2-db1-hsr
   10.23.1.200     hana-s2-db2-hsr
   10.23.1.201     hana-s2-db3-hsr
   

2. [A] Azure yapılandırma ayarları için Microsoft ile /etc/sysctl.d/ms-az.conf yapılandırma dosyası oluşturun.

   vi /etc/sysctl.d/ms-az.conf
   
   # Add the following entries in the configuration file
   net.ipv6.conf.all.disable_ipv6 = 1
   net.ipv4.tcp_max_syn_backlog = 16348
   net.ipv4.conf.all.rp_filter = 0
   sunrpc.tcp_slot_table_entries = 128
   vm.swappiness=10
   

   İpucu

   SAP Konak Aracısı'nın bağlantı noktası aralıklarını yönetmesine izin vermek için sysctl yapılandırma dosyalarında açıkça net.ipv4.ip_local_port_range ve net.ipv4.ip_local_reserved_ports ayarlamaktan kaçının. Daha fazla bilgi için bkz. SAP not 2382421.

3. [A] SUSE, SAP HANA için özel kaynak aracıları sunar ve SAP HANA ölçeğini artırma için varsayılan olarak aracılar yüklenir. Yüklüyse, ölçeği artırma paketlerini kaldırın ve SAP HANA ölçeği genişletme senaryosu için paketleri yükleyin. Adımın, çoğunluk oluşturucu da dahil olmak üzere tüm küme VM'lerinde gerçekleştirilmesi gerekir.

   Not

   SAPHanaSR-ScaleOut sürüm 0.181 veya üzeri yüklü olmalıdır.

   # Uninstall scale-up packages and patterns
   sudo zypper remove patterns-sap-hana
   sudo zypper remove SAPHanaSR SAPHanaSR-doc yast2-sap-ha
   
   # Install the scale-out packages and patterns
   sudo zypper in SAPHanaSR-ScaleOut SAPHanaSR-ScaleOut-doc 
   sudo zypper in -t pattern ha_sles
   

4. [AH] VM'leri hazırlama - SAP Uygulamaları için SUSE Linux Enterprise Server 2205917 SAP not başına önerilen ayarları uygulayın.

Dosya sistemlerini hazırlama

SAP paylaşılan dizinlerini Azure NetApp Files'da Azure Dosyalar veya NFS biriminde NFS paylaşımına dağıtmayı seçtiniz.

Paylaşılan dosya sistemlerini bağlama (Azure NetApp Files NFS)

Bu örnekte, paylaşılan HANA dosya sistemleri Azure NetApp Files'a dağıtılır ve NFSv4.1 üzerinden bağlanır. Yalnızca Azure NetApp Files üzerinde NFS kullanıyorsanız bu bölümdeki adımları izleyin.

1. [AH] SAP not 3024346 - NetApp NFS için Linux Çekirdek Ayarları bölümünde açıklandığı gibi, işletim sistemini NFS ile NetApp Systems üzerinde SAP HANA çalıştırmak için hazırlayın. NetApp yapılandırma ayarları için /etc/sysctl.d/91-NetApp-HANA.conf yapılandırma dosyası oluşturun.

   vi /etc/sysctl.d/91-NetApp-HANA.conf
   
   # Add the following entries in the configuration file
   net.core.rmem_max = 16777216
   net.core.wmem_max = 16777216
   net.ipv4.tcp_rmem = 4096 131072 16777216
   net.ipv4.tcp_wmem = 4096 16384 16777216
   net.core.netdev_max_backlog = 300000
   net.ipv4.tcp_slow_start_after_idle=0
   net.ipv4.tcp_no_metrics_save = 1
   net.ipv4.tcp_moderate_rcvbuf = 1
   net.ipv4.tcp_window_scaling = 1
   net.ipv4.tcp_sack = 1
   

2. [AH] SAP not 3024346 - NetApp NFS için Linux Çekirdek Ayarları'nda önerilen sunrpc ayarlarını yapın.

   vi /etc/modprobe.d/sunrpc.conf
   
   # Insert the following line
   options sunrpc tcp_max_slot_table_entries=128
   

3. [AH] HANA veritabanı birimleri için bağlama noktaları oluşturun.

   mkdir -p /hana/shared
   

4. [AH] NFS etki alanı ayarını doğrulayın. Etki alanının varsayılan Azure NetApp Files etki alanı defaultv4iddomain.com olarak yapılandırıldığından ve eşlemenin hiç kimse olarak ayarlandığından emin olun.
   Bu adım yalnızca Azure NetAppFiles NFSv4.1 kullanılıyorsa gereklidir.

   Önemli

   VM'de içindeki NFS etki alanını Azure NetApp Files'daki /etc/idmapd.conf varsayılan etki alanı yapılandırmasıyla eşleşecek şekilde ayarladığınızdan emin olun: defaultv4iddomain.com. NFS istemcisinde (vm) etki alanı yapılandırması ile NFS sunucusu arasında bir uyuşmazlık varsa( örneğin, Azure NetApp yapılandırması), VM'lere bağlanan Azure NetApp birimlerindeki dosyaların izinleri olarak nobodygörüntülenir.

   sudo cat /etc/idmapd.conf
   # Example
   [General]
   Domain = defaultv4iddomain.com
   [Mapping]
   Nobody-User = nobody
   Nobody-Group = nobody
   

5. [AH] öğesini doğrulayın nfs4_disable_idmapping. Y olarak ayarlanmalıdır. Bulunduğu nfs4_disable_idmapping dizin yapısını oluşturmak için bağlama komutunu yürütün. Erişim çekirdek /sürücüler için ayrıldığından dizini /sys/modules altında el ile oluşturamazsınız.
   Bu adım yalnızca Azure NetAppFiles NFSv4.1 kullanılıyorsa gereklidir.

   # Check nfs4_disable_idmapping 
   cat /sys/module/nfs/parameters/nfs4_disable_idmapping
   # If you need to set nfs4_disable_idmapping to Y
   mkdir /mnt/tmp
   mount 10.23.1.7:/HN1-share-s1 /mnt/tmp
   umount  /mnt/tmp
   echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
   # Make the configuration permanent
   echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
   

6. [AH1] Paylaşılan Azure NetApp Files birimlerini SITE1 HANA DB VM'lerine bağlayın.

   sudo vi /etc/fstab
   # Add the following entry
   10.23.1.7:/HN1-shared-s1 /hana/shared nfs rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0
   # Mount all volumes
   sudo mount -a 
   

7. [AH2] Paylaşılan Azure NetApp Files birimlerini SITE2 HANA DB VM'lerine bağlayın.

   sudo vi /etc/fstab
   # Add the following entry
   10.23.1.7:/HN1-shared-s2 /hana/shared nfs rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0
   # Mount the volume
   sudo mount -a 
   

8. [AH] İlgili /hana/shared/ dosya sistemlerinin NFS protokol sürümü NFSv4.1 olan tüm HANA DB VM'lerine bağlandığını doğrulayın.

   sudo nfsstat -m
   # Verify that flag vers is set to 4.1 
   # Example from SITE 1, hana-s1-db1
   /hana/shared from 10.23.1.7:/HN1-shared-s1
    Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.19,local_lock=none,addr=10.23.1.7
   # Example from SITE 2, hana-s2-db1
   /hana/shared from 10.23.1.7:/HN1-shared-s2
    Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.22,local_lock=none,addr=10.23.1.7
   

Paylaşılan dosya sistemlerini bağlama (Azure Dosyalar NFS)

Bu örnekte, paylaşılan HANA dosya sistemleri Azure Dosyalar üzerinde NFS'de dağıtılır. Bu bölümdeki adımları izleyin; yalnızca Azure Dosyalar üzerinde NFS kullanıyorsanız.

1. [AH] HANA veritabanı birimleri için bağlama noktaları oluşturun.

   mkdir -p /hana/shared
   

2. [AH1] Paylaşılan Azure NetApp Files birimlerini SITE1 HANA DB VM'lerine bağlayın.

   sudo vi /etc/fstab
   # Add the following entry
   sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1 /hana/shared  nfs nfsvers=4.1,sec=sys  0  0
   # Mount all volumes
   sudo mount -a 
   

3. [AH2] Paylaşılan Azure NetApp Files birimlerini SITE2 HANA DB VM'lerine bağlayın.

   sudo vi /etc/fstab
   # Add the following entries
   sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2 /hana/shared  nfs nfsvers=4.1,sec=sys  0  0
   # Mount the volume
   sudo mount -a 
   

4. [AH] İlgili /hana/shared/ dosya sistemlerinin NFS protokol sürümü NFSv4.1 olan tüm HANA DB VM'lerine bağlandığını doğrulayın.

   sudo nfsstat -m
   # Example from SITE 1, hana-s1-db1
   sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1
    Flags: rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.19,local_lock=none,addr=10.23.0.35
   # Example from SITE 2, hana-s2-db1
   sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2
    Flags: rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.22,local_lock=none,addr=10.23.0.35
   

Verileri hazırlama ve yerel dosya sistemlerini günlüğe kaydetme

Sunulan yapılandırmada, dosya sistemleri /hana/data ve /hana/log yönetilen diske dağıtılır ve her HANA DB VM'sine yerel olarak bağlanır. Her HANA DB sanal makinesinde yerel verileri ve günlük birimlerini oluşturma adımlarını yürütmeniz gerekir.

Mantıksal Birim Yöneticisi (LVM) ile disk düzenini ayarlayın. Aşağıdaki örnekte, her HANA sanal makinesinin iki birim oluşturmak için kullanılan üç veri diski eklendiği varsayılır.

1. [AH] Kullanılabilir tüm diskleri listeleyin:

   ls /dev/disk/azure/scsi1/lun*
   

   Örnek çıkış:

   /dev/disk/azure/scsi1/lun0  /dev/disk/azure/scsi1/lun1  /dev/disk/azure/scsi1/lun2 
   

2. [AH] Kullanmak istediğiniz tüm diskler için fiziksel birimler oluşturun:

   sudo pvcreate /dev/disk/azure/scsi1/lun0
   sudo pvcreate /dev/disk/azure/scsi1/lun1
   sudo pvcreate /dev/disk/azure/scsi1/lun2
   

3. [AH] Veri dosyaları için bir birim grubu oluşturun. Günlük dosyaları için bir birim grubu ve SAP HANA'nın paylaşılan dizini için bir birim grubu kullanın:\

   sudo vgcreate vg_hana_data_HN1 /dev/disk/azure/scsi1/lun0 /dev/disk/azure/scsi1/lun1
   sudo vgcreate vg_hana_log_HN1 /dev/disk/azure/scsi1/lun2
   

4. [AH] Mantıksal birimleri oluşturun.

   Anahtar olmadan -i kullandığınızda lvcreate doğrusal bir birim oluşturulur. Daha iyi G/Ç performansı için şeritli birim oluşturmanızı ve şerit boyutlarını SAP HANA VM depolama yapılandırmalarında belgelenen değerlerle hizalamanızı öneririz. -i Bağımsız değişken, temel alınan fiziksel birimlerin sayısı, -I bağımsız değişken ise şerit boyutu olmalıdır. Bu belgede, veri birimi için iki fiziksel birim kullanıldığından -i anahtar bağımsız değişkeni 2 olarak ayarlanmıştır. Veri hacmi için şerit boyutu 256 KiB'dir. Günlük birimi için bir fiziksel birim kullanıldığından, günlük birimi komutları için açıkça hayır -i veya -I anahtarları kullanılır.

   Önemli

   -i Her veri veya günlük birimi için birden fazla fiziksel birim kullandığınızda anahtarı kullanın ve temel alınan fiziksel birimin sayısına ayarlayın. -I Şeritli birim oluştururken şerit boyutunu belirtmek için anahtarı kullanın.
   Şerit boyutları ve disk sayısı da dahil olmak üzere önerilen depolama yapılandırmaları için bkz . SAP HANA VM depolama yapılandırmaları.

   sudo lvcreate -i 2 -I 256 -l 100%FREE -n hana_data vg_hana_data_HN1
   sudo lvcreate -l 100%FREE -n hana_log vg_hana_log_HN1
   sudo mkfs.xfs /dev/vg_hana_data_HN1/hana_data
   sudo mkfs.xfs /dev/vg_hana_log_HN1/hana_log
   

5. [AH] Bağlama dizinlerini oluşturun ve tüm mantıksal birimlerin UUID değerini kopyalayın:

   sudo mkdir -p /hana/data/HN1
   sudo mkdir -p /hana/log/HN1
   # Write down the ID of /dev/vg_hana_data_HN1/hana_data and /dev/vg_hana_log_HN1/hana_log
   sudo blkid
   

6. [AH] Mantıksal birimler ve bağlama için girdiler oluşturun fstab :

   sudo vi /etc/fstab
   

   Dosyaya aşağıdaki satırı /etc/fstab ekleyin:

   /dev/disk/by-uuid/UUID of /dev/mapper/vg_hana_data_HN1-hana_data /hana/data/HN1 xfs  defaults,nofail  0  2
   /dev/disk/by-uuid/UUID of /dev/mapper/vg_hana_log_HN1-hana_log /hana/log/HN1 xfs  defaults,nofail  0  2
   

   Yeni birimleri bağlayın:

   sudo mount -a
   

Pacemaker kümesi oluşturma

Bu HANA sunucusu için temel bir Pacemaker kümesi oluşturmak için Azure'da SUSE Linux Enterprise Server'da Pacemaker'ı ayarlama makalesindeki adımları izleyin. Kümedeki çoğunluk oluşturucu da dahil olmak üzere tüm sanal makineleri dahil edin.

Yükleme

Azure VM'lerinde HSR ile genişleme yapılandırmasında SAP HANA'yı dağıtmak için bu örnekte HANA 2.0 SP5'i kullandık.

HANA yüklemesi için hazırlanma

1. [AH] HANA yüklemeden önce kök parolayı ayarlayın. Yükleme tamamlandıktan sonra kök parolayı devre dışı bırakabilirsiniz. Komutu olarak root yürüt .. passwd.

2. [1,2] İzinleri değiştir /hana/shared

   chmod 775 /hana/shared
   

3. [1] Parola istenmeden hana-s1-db2 ve hana-s1-db3 sitelerindeki HANA DB VM'lerinde SSH aracılığıyla oturum açabildiğinizi doğrulayın. Böyle bir durum söz konusu değilse, Ortak Anahtar aracılığıyla SSH Erişimini Etkinleştirme bölümünde açıklandığı gibi ssh anahtarlarını değiştirme.

   ssh root@hana-s1-db2
   ssh root@hana-s1-db3
   

4. [2] Parola istenmeden hana-s2-db2 ve hana-s2-db3 sitelerindeki HANA DB VM'lerinde SSH aracılığıyla oturum açabildiğinizi doğrulayın.
   Böyle bir durum söz konusu değilse, ssh anahtarlarını değiştirme.

   ssh root@hana-s2-db2
   ssh root@hana-s2-db3
   

5. [AH] HANA 2.0 SP4 ve üzeri için gereken ek paketleri yükleyin. Daha fazla bilgi için bkz. SLES sürümünüz için SAP Not 2593824 .

   # In this example, using SLES12 SP5
   sudo zypper install libgcc_s1 libstdc++6 libatomic1
   

Her sitedeki ilk düğümde HANA yüklemesi

1. [1] SAP HANA 2.0 Yükleme ve Güncelleştirme kılavuzundaki yönergeleri izleyerek SAP HANA'yı yükleyin. Aşağıdaki yönergelerde, SİTE 1'deki ilk düğümde SAP HANA yüklemesini gösteririz.

   a. HDblcm programını HANA yükleme yazılımı dizininden olduğu gibi root başlatın. parametresini internal_network kullanın ve iç HANA düğümler arası iletişim için kullanılan alt ağ için adres alanını geçirin.

   ./hdblcm --internal_network=10.23.1.128/26
   

   b. İstemde aşağıdaki değerleri girin:

   • Eylem seçin için: 1 girin (yükleme için)
   • Yükleme için ek bileşenler için: 2, 3 girin
   • Yükleme yolu için: Enter tuşuna basın (varsayılan olarak /hana/shared olarak kullanılır)
   • Yerel Ana Bilgisayar Adı için: Varsayılanı kabul etmek için Enter tuşuna basın
   • Sisteme konak eklemek istiyor musunuz?: n girin
   • SAP HANA Sistem Kimliği için: HN1 girin
   • Örnek numarası [00]: 03 girin
   • Yerel Konak Çalışan Grubu [varsayılan] için: Varsayılanı kabul etmek için Enter tuşuna basın
   • Sistem Kullanımını Seçin / Dizin girin [4]: 4 girin (özel için)
   • [/hana/data/HN1] Veri Birimlerinin Konumu için: Varsayılanı kabul etmek için Enter tuşuna basın
   • [/hana/log/HN1] Günlük Birimlerinin Konumu için: Varsayılanı kabul etmek için Enter tuşuna basın
   • En fazla bellek ayırmayı kısıtla? [n]: n girin
   • Hana-s1-db1 [hana-s1-db1] konağı için Sertifika Ana Bilgisayar Adı için: Varsayılanı kabul etmek için Enter tuşuna basın
   • SAP Konak Aracısı Kullanıcısı (sapadm) Parolası için: parolayı girin
   • SAP Konak Aracısı Kullanıcı (sapadm) Parolasını Onayla için: parolayı girin
   • Sistem Yöneticisi (hn1adm) Parolası için: parolayı girin
   • Sistem Yöneticisi Giriş Dizini [/usr/sap/HN1/home] için: Varsayılanı kabul etmek için Enter tuşuna basın
   • Sistem Yöneticisi Oturum Açma Kabuğu [/bin/sh] için: Varsayılanı kabul etmek için Enter tuşuna basın
   • Sistem Yöneticisi Kullanıcı Kimliği [1001] için: Varsayılanı kabul etmek için Enter tuşuna basın
   • Kullanıcı Grubunun Enter Kimliği (sapsys) [79] için: Varsayılanı kabul etmek için Enter tuşuna basın
   • Sistem Veritabanı Kullanıcısı (sistem) Parolası için: Sistemin parolasını girin
   • Sistem Veritabanı Kullanıcı (sistem) Parolasını Onayla için: Sistemin parolasını girin
   • Makine yeniden başlatıldıktan sonra sistemi yeniden başlatma için? [n]: n girin
   • Devam etmek istiyor musunuz (y/n): özeti doğrulayın ve her şey iyi görünüyorsa y girin

2. [2] SAP HANA'yı SITE 2'de ilk düğüme yüklemek için önceki adımı yineleyin.

3. [1,2] global.ini doğrula

   global.ini görüntüleyin ve dahili SAP HANA düğümler arası iletişim yapılandırmasının yerinde olduğundan emin olun. İletişim bölümünü doğrulayın. Alt ağın adres alanına inter sahip olmalı ve listeninterface olarak .internalayarlanmalıdır. internal_hostname_resolution bölümünü doğrulayın. Alt ağa ait HANA sanal makinelerinin IP adreslerine inter sahip olmalıdır.

     sudo cat /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
     # Example from SITE1 
     [communication]
     internal_network = 10.23.1.128/26
     listeninterface = .internal
     [internal_hostname_resolution]
     10.23.1.132 = hana-s1-db1
     10.23.1.133 = hana-s1-db2
     10.23.1.134 = hana-s1-db3
   

4. [1,2] SAP not 2080991 açıklandığı gibi, paylaşılan olmayan ortamda yüklemeye hazırlanınglobal.ini.

    sudo vi /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
    [persistence]
    basepath_shared = no
   

5. [1,2] Değişiklikleri etkinleştirmek için SAP HANA'yı yeniden başlatın.

    sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StopSystem
    sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StartSystem
   

6. [1,2] İstemci arabiriminin iletişim için alt ağdaki IP adreslerini client kullanacağını doğrulayın.

   # Execute as hn1adm
   /usr/sap/HN1/HDB03/exe/hdbsql -u SYSTEM -p "password" -i 03 -d SYSTEMDB 'select * from SYS.M_HOST_INFORMATION'|grep net_publicname
   # Expected result - example from SITE 2
   "hana-s2-db1","net_publicname","10.23.0.22"
   

   Yapılandırmayı doğrulama hakkında bilgi için bkz. SAP Not 2183363 - SAP HANA iç ağının yapılandırması.

7. [AH] HANA yükleme hatasını önlemek için veri ve günlük dizinlerindeki izinleri değiştirin.

    sudo chmod o+w -R /hana/data /hana/log
   

8. [1] İkincil HANA düğümlerini yükleyin. Bu adımdaki örnek yönergeler SİTE 1 içindir.

   a. Yerleşik hdblcm programını olarak rootbaşlatın.

    cd /hana/shared/HN1/hdblcm
    ./hdblcm 
   

   b. İstemde aşağıdaki değerleri girin:

   • Eylem seçin için: 2 girin (konak eklemek için)
   • Eklenecek virgülle ayrılmış konak adlarını girin: hana-s1-db2, hana-s1-db3
   • Yükleme için ek bileşenler için: 2, 3 girin
   • Kök Kullanıcı Adını Girin [root]: varsayılanı kabul etmek için Enter tuşuna basın
   • 'hana-s1-db2' konağı için rolleri seçme için [1]: 1 (çalışan için)
   • 'hana-s1-db2' konağı için Ana Bilgisayar Yük Devretme Grubunu Girin [varsayılan]: varsayılanı kabul etmek için Enter tuşuna basın
   • 'hana-s1-db2' konağı için Depolama Bölüm Numarasını Girin [<<otomatik>> olarak atayın]: Varsayılanı kabul etmek için Enter tuşuna basın
   • 'hana-s1-db2' konağı için Çalışan Grubunu Girin [varsayılan]: varsayılanı kabul etmek için Enter tuşuna basın
   • 'hana-s1-db3' konağı için rolleri seçme için [1]: 1 (çalışan için)
   • 'hana-s1-db3' konağı için Ana Bilgisayar Yük Devretme Grubunu Girin [varsayılan]: Varsayılanı kabul etmek için Enter tuşuna basın
   • 'hana-s1-db3' konağı için Depolama Bölüm Numarası Girin [<<otomatik>> olarak atayın]: varsayılanı kabul etmek için Enter tuşuna basın
   • 'hana-s1-db3' konağı için Çalışan Grubunu Girin [varsayılan]: Varsayılanı kabul etmek için Enter tuşuna basın
   • Sistem Yöneticisi (hn1adm) Parolası için: parolayı girin
   • SAP Konak Aracısı Kullanıcısı (sapadm) Parolasını Girin: parolayı girin
   • SAP Konak Aracısı Kullanıcı (sapadm) Parolasını Onayla için: parolayı girin
   • Hana-s1-db2 [hana-s1-db2] konağı için Sertifika Ana Bilgisayar Adı için: Varsayılanı kabul etmek için Enter tuşuna basın
   • Hana-s1-db3 Konağı için Sertifika Ana Bilgisayar Adı için [hana-s1-db3]: Varsayılanı kabul etmek için Enter tuşuna basın
   • Devam etmek istiyor musunuz (y/n): özeti doğrulayın ve her şey iyi görünüyorsa y girin

9. [2] site 2'ye ikincil SAP HANA düğümlerini yüklemek için önceki adımı yineleyin.

SAP HANA 2.0 Sistem Çoğaltmasını Yapılandırma

1. [1] SITE 1'de Sistem Çoğaltmayı Yapılandırma:

   Veritabanlarını hn1adm olarak yedekleyin:

   hdbsql -d SYSTEMDB -u SYSTEM -p "passwd" -i 03 "BACKUP DATA USING FILE ('initialbackupSYS')"
   hdbsql -d HN1 -u SYSTEM -p "passwd" -i 03 "BACKUP DATA USING FILE ('initialbackupHN1')"
   

   Sistem PKI dosyalarını ikincil siteye kopyalayın:

   scp /usr/sap/HN1/SYS/global/security/rsecssfs/data/SSFS_HN1.DAT hana-s2-db1:/usr/sap/HN1/SYS/global/security/rsecssfs/data/
   scp /usr/sap/HN1/SYS/global/security/rsecssfs/key/SSFS_HN1.KEY  hana-s2-db1:/usr/sap/HN1/SYS/global/security/rsecssfs/key/
   

   Birincil siteyi oluşturun:

   hdbnsutil -sr_enable --name=HANA_S1
   

2. [2] SITE 2'de Sistem Çoğaltmayı Yapılandırma:

   Sistem çoğaltmasını başlatmak için ikinci siteyi kaydedin. Aşağıdaki komutu hanasid>adm olarak <çalıştırın:

   sapcontrol -nr 03 -function StopWait 600 10
   hdbnsutil -sr_register --remoteHost=hana-s1-db1 --remoteInstance=03 --replicationMode=sync --name=HANA_S2
   sapcontrol -nr 03 -function StartSystem
   

3. [1] Çoğaltma durumunu denetleme

   Çoğaltma durumunu denetleyin ve tüm veritabanları eşitlenene kadar bekleyin.

   sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
   
   # | Database | Host          | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary     | Secondary | Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
   # |          |               |       |              |           |         |           | Host          | Port      | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
   # | -------- | ------------- | ----- | ------------ | --------- | ------- | --------- | ------------- | --------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
   # | HN1      | hana-s1-db3   | 30303 | indexserver  |         5 |       1 | HANA_S1   | hana-s2-db3   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   # | SYSTEMDB | hana-s1-db1   | 30301 | nameserver   |         1 |       1 | HANA_S1   | hana-s2-db1   |     30301 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   # | HN1      | hana-s1-db1   | 30307 | xsengine     |         2 |       1 | HANA_S1   | hana-s2-db1   |     30307 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   # | HN1      | hana-s1-db1   | 30303 | indexserver  |         3 |       1 | HANA_S1   | hana-s2-db1   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   # | HN1      | hana-s1-db2   | 30303 | indexserver  |         4 |       1 | HANA_S1   | hana-s2-db2   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   #
   # status system replication site "2": ACTIVE
   # overall system replication status: ACTIVE
   #
   # Local System Replication State
   #
   # mode: PRIMARY
   # site id: 1
   # site name: HANA_S1
   

4. [1,2] HANA sistem çoğaltma iletişiminin HANA sistem çoğaltma sanal ağ arabirimleri aracılığıyla yönlendirilmesi için HANA yapılandırmasını değiştirin.

   • Her iki site için de HANA'yı durdurma

     sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StopSystem HDB
     

   • GLOBAL.INI düzenleyerek HANA sistem çoğaltması için ana bilgisayar eşlemesini ekleyin: alt ağdan hsr IP adreslerini kullanın.

     sudo vi /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
     #Add the section
     [system_replication_hostname_resolution]
     10.23.1.196 = hana-s1-db1
     10.23.1.197 = hana-s1-db2
     10.23.1.198 = hana-s1-db3
     10.23.1.199 = hana-s2-db1
     10.23.1.200 = hana-s2-db2
     10.23.1.201 = hana-s2-db3
     

   • Her iki site için de HANA'yı başlatma

     sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StartSystem HDB
     

   Daha fazla bilgi için bkz . Sistem Çoğaltma için Ana Bilgisayar Adı çözümlemesi.

Dosya sistemi kaynakları oluşturma

NFS'ye bağlı dosya sistemine erişirken bir sorun olması durumunda hataları izleyecek ve raporlayacak sahte bir dosya sistemi /hana/sharedküme kaynağı oluşturun. Bu, erişimde /hana/sharedbir sorun olması durumunda kümenin yük devretmeyi tetiklemesini sağlar. Daha fazla bilgi için bkz. HANA sistem çoğaltması için SUSE HA kümesinde başarısız NFS paylaşımını işleme

1. [1] HANA küme kaynaklarının oluşturulmasına hazırlık olarak pacemaker'ı bakım moduna yerleştirin.

   crm configure property maintenance-mode=true
   

2. [1,2] Özel dosya sistemi izleme kaynağında kullanılacak NFS bağlı dosya sisteminde /hana/shared dizinini oluşturun. Dizinlerin her iki site üzerinde de oluşturulması gerekir.

   mkdir -p /hana/shared/HN1/check
   

3. [AH] Özel dosya sistemi izleme kaynağını bağlamak için kullanılacak dizini oluşturun. Dizinin tüm HANA küme düğümlerinde oluşturulması gerekir.

   mkdir -p /hana/check
   

4. [1] Dosya sistemi kümesi kaynaklarını oluşturun.

   crm configure primitive fs_HN1_HDB03_fscheck Filesystem \
     params device="/hana/shared/HN1/check" \
     directory="/hana/check" fstype=nfs4 \
     options="bind,defaults,rw,hard,proto=tcp,noatime,nfsvers=4.1,lock" \
     op monitor interval=120 timeout=120 on-fail=fence \
     op_params OCF_CHECK_LEVEL=20 \
     op start interval=0 timeout=120 op stop interval=0 timeout=120
   
   crm configure clone cln_fs_HN1_HDB03_fscheck fs_HN1_HDB03_fscheck \
     meta clone-node-max=1 interleave=true
   
   crm configure location loc_cln_fs_HN1_HDB03_fscheck_not_on_mm \
     cln_fs_HN1_HDB03_fscheck -inf: hana-s-mm    
   

   OCF_CHECK_LEVEL=20 özniteliği izleyici işlemine eklenir, böylece izleme işlemleri dosya sisteminde bir okuma/yazma testi gerçekleştirir. Bu öznitelik olmadan, izleme işlemi yalnızca dosya sisteminin bağlandığını doğrular. Bağlantı kaybolduğunda dosya sistemi erişilemez olmasına rağmen bağlı kalabileceği için bu sorun olabilir.

   on-fail=fence özniteliği de izleyici işlemine eklenir. Bu seçenekle, izleme işlemi bir düğümde başarısız olursa, bu düğüm hemen çevrelenir.

HANA HA kancalarını uygulama SAPHanaSrMultiTarget ve susChkSrv

Bu önemli adım, kümeyle tümleştirmeyi ve bir küme yük devretmesi mümkün olduğunda algılamayı iyileştirmektir. SAPHanaSrMultiTarget Python kancasını yapılandırmak kesinlikle önerilir. HANA 2.0 SP5 ve üzeri için hem SAPHanaSrMultiTarget hem de susChkSrv kancalarının uygulanması önerilir.

SAPHanaSrMultiTarget kancası için sağlanan adımlar yeni bir yükleme içindir. Var olan bir ortamı SAPHanaSR'den SAPHanaSrMultiTarget sağlayıcısına yükseltmek için birkaç değişiklik yapılması gerekir ve bu belgede ANLATILMADI . Mevcut ortam olağanüstü durum kurtarma için üçüncü site kullanmıyorsa ve HANA çok hedefli sistem çoğaltması kullanılmıyorsa SAPHanaSR HA sağlayıcısı kullanımda kalabilir.

SusChkSrv, ana SAPHanaSrMultiTarget HA sağlayıcısının işlevselliğini genişletir. HANA işlemi hdbindexserver'ın kilitlenmesi durumunda hareket eder. Tek bir işlem kilitleniyorsa HANA genellikle işlemi yeniden başlatmayı dener. Dizin sunucusu işleminin yeniden başlatılması uzun sürebilir ve bu süre boyunca HANA veritabanı yanıt vermiyor olabilir. susChkSrv uygulandığında, hdbindexserver işleminin aynı düğümde yeniden başlatılmasını beklemek yerine anında ve yapılandırılabilir bir eylem yürütülür. HANA ölçeği genişletmede susChkSrv, her HANA VM için bağımsız olarak hareket eder. Yapılandırılan eylem, HANA'yı öldürür veya etkilenen VM'yi çevreler ve bu da yapılandırılan zaman aşımı döneminde yük devretmeyi tetikler.

Her iki HANA HA kancasının da çalıştırılması için SUSE SLES 15 SP1 veya üzeri gereklidir. Aşağıdaki tabloda diğer bağımlılıklar gösterilmektedir.

Her iki kancayı da uygulama adımları:

1. [1,2] Her iki sistem çoğaltma sitesinde de HANA'yı durdurun. Sid>adm olarak <yürüt:

   sapcontrol -nr 03 -function StopSystem
   

2. [1,2] Her küme sitesinde ayarlayın global.ini . susChkSrv kancası için önkoşullar karşılanmazsa bloğun tamamı [ha_dr_provider_suschksrv] yapılandırılmamalıdır.
   susChkSrv davranışını parametre action_on_lost ile ayarlayabilirsiniz. Geçerli değerler şunlardır: [ ignore | stop | kill | fence ].

   # add to global.ini on both sites. Do not copy global.ini between sites.
   [ha_dr_provider_saphanasrmultitarget]
   provider = SAPHanaSrMultiTarget
   path = /usr/share/SAPHanaSR-ScaleOut
   execution_order = 1
   
   [ha_dr_provider_suschksrv]
   provider = susChkSrv
   path = /usr/share/SAPHanaSR-ScaleOut
   execution_order = 3
   action_on_lost = kill
   
   [trace]
   ha_dr_saphanasrmultitarget = info
   

   SUSE tarafından teslim edilen HA kancalarının varsayılan konumu /usr/share/SAPHanaSR-ScaleOut'tır. Standart konumun kullanılması, python kanca kodunun işletim sistemi veya paket güncelleştirmeleri aracılığıyla otomatik olarak güncelleştirilip bir sonraki yeniden başlatmada HANA tarafından kullanılmasına neden olur. /hana/shared/myHooks gibi isteğe bağlı bir kendi yoluyla, işletim sistemi güncelleştirmelerini kullanılan kanca sürümünden ayrıştırabilirsiniz.

3. [AH] Küme, sid>adm için <küme düğümlerinde sudoers yapılandırması gerektirir. Bu örnekte, yeni bir dosya oluşturularak elde edilir. Hn1 değerlerini doğru küçük harf SID ile uyarlamak için root komutları yürütür.

   cat << EOF > /etc/sudoers.d/20-saphana
   # SAPHanaSR-ScaleOut needs for HA/DR hook scripts
   so1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_hn1_site_srHook_*
   so1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_hn1_gsh *
   so1adm ALL=(ALL) NOPASSWD: /usr/sbin/SAPHanaSR-hookHelper --sid=hn1 *
   EOF
   

4. [1,2] Her iki çoğaltma sitesinde de SAP HANA'yı başlatın. Sid>adm olarak <yürütün.

   sapcontrol -nr 03 -function StartSystem 
   

5. [A] Kanca yüklemesinin tüm küme düğümlerinde etkin olduğunu doğrulayın. Sid>adm olarak <yürütün.

   cdtrace
   grep HADR.*load.*SAPHanaSrMultiTarget nameserver_*.trc | tail -3
   # Example output
   # nameserver_hana-s1-db1.31001.000.trc:[14162]{-1}[-1/-1] 2023-01-26 12:53:55.728027 i ha_dr_provider   HADRProviderManager.cpp(00083) : loading HA/DR Provider 'SAPHanaSrMultiTarget' from /usr/share/SAPHanaSR-ScaleOut/
   grep SAPHanaSr.*init nameserver_*.trc | tail -3
   # Example output
   # nameserver_hana-s1-db1.31001.000.trc:[17636]{-1}[-1/-1] 2023-01-26 16:30:19.256705 i ha_dr_SAPHanaSrM SAPHanaSrMultiTarget.py(00080) : SAPHanaSrMultiTarget.init() CALLING CRM: <sudo /usr/sbin/crm_attribute -n hana_hn1_gsh -v 2.2  -l reboot> rc=0
   # nameserver_hana-s1-db1.31001.000.trc:[17636]{-1}[-1/-1] 2023-01-26 16:30:19.256739 i ha_dr_SAPHanaSrM SAPHanaSrMultiTarget.py(00081) : SAPHanaSrMultiTarget.init() Running srHookGeneration 2.2, see attribute hana_hn1_gsh too
   

   susChkSrv kanca yüklemesini doğrulayın. Sid>adm olarak <yürütün.

   cdtrace
   egrep '(LOST:|STOP:|START:|DOWN:|init|load|fail)' nameserver_suschksrv.trc
   # Example output
   # 2023-01-19 08:23:10.581529  [1674116590-10005] susChkSrv.init() version 0.7.7, parameter info: action_on_lost=fence stop_timeout=20 kill_signal=9
   # 2023-01-19 08:23:31.553566  [1674116611-14022] START: indexserver event looks like graceful tenant start
   # 2023-01-19 08:23:52.834813  [1674116632-15235] START: indexserver event looks like graceful tenant start (indexserver started)
   

SAP HANA küme kaynakları oluşturma

1. [1] HANA küme kaynaklarını oluşturun. Aşağıdaki komutları olarak rootyürütebilirsiniz.

   1. Kümenin zaten bakım modunda olduğundan emin olun.

   2. Ardından HANA Topolojisi kaynağını oluşturun.

      sudo crm configure primitive rsc_SAPHanaTopology_HN1_HDB03 ocf:suse:SAPHanaTopology \
        op monitor interval="10" timeout="600" \
        op start interval="0" timeout="600" \
        op stop interval="0" timeout="300" \
        params SID="HN1" InstanceNumber="03"
      
      sudo crm configure clone cln_SAPHanaTopology_HN1_HDB03 rsc_SAPHanaTopology_HN1_HDB03 \
       meta clone-node-max="1" target-role="Started" interleave="true"
      

   3. Ardından HANA örnek kaynağını oluşturun.

      Not

      Bu makale, Microsoft'un artık kullanmadığını ifade eden başvurular içerir. Bu terimler yazılımdan kaldırıldığında, bunları bu makaleden kaldıracağız.

      sudo crm configure primitive rsc_SAPHana_HN1_HDB03 ocf:suse:SAPHanaController \
        op start interval="0" timeout="3600" \
        op stop interval="0" timeout="3600" \
        op promote interval="0" timeout="3600" \
        op monitor interval="60" role="Master" timeout="700" \
        op monitor interval="61" role="Slave" timeout="700" \
        params SID="HN1" InstanceNumber="03" PREFER_SITE_TAKEOVER="true" \
        DUPLICATE_PRIMARY_TIMEOUT="7200" AUTOMATED_REGISTER="false"
      
      sudo crm configure ms msl_SAPHana_HN1_HDB03 rsc_SAPHana_HN1_HDB03 \
        meta clone-node-max="1" master-max="1" interleave="true"
      

      Önemli

      Başarısız birincil örneğin otomatik olarak ikincil olarak kaydedilmesini önlemek için kapsamlı yük devretme testleri gerçekleştirirken AUTOMATED_REGISTER yalnızca hayır olarak ayarlamanızı öneririz. Yük devretme testleri başarıyla tamamlandıktan sonra, devralma sonrasında sistem çoğaltmasının otomatik olarak devam edebilmesi için AUTOMATED_REGISTER evet olarak ayarlayın.

   4. Sanal IP ve ilişkili kaynaklar oluşturun.

      sudo crm configure primitive rsc_ip_HN1_HDB03 ocf:heartbeat:IPaddr2 \
        op monitor interval="10s" timeout="20s" \
        params ip="10.23.0.27"
      
      sudo crm configure primitive rsc_nc_HN1_HDB03 azure-lb port=62503 \
        op monitor timeout=20s interval=10 \
        meta resource-stickiness=0
      
      sudo crm configure group g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 rsc_nc_HN1_HDB03
      

   5. Küme kısıtlamalarını oluşturma

      # Colocate the IP with HANA master
      sudo crm configure colocation col_saphana_ip_HN1_HDB03 4000: g_ip_HN1_HDB03:Started \
        msl_SAPHana_HN1_HDB03:Master  
      
      # Start HANA Topology before HANA  instance
      sudo crm configure order ord_SAPHana_HN1_HDB03 Optional: cln_SAPHanaTopology_HN1_HDB03 \
        msl_SAPHana_HN1_HDB03
      
      # HANA resources don't run on the majority maker node
      sudo crm configure location loc_SAPHanaCon_not_on_majority_maker msl_SAPHana_HN1_HDB03 -inf: hana-s-mm
      sudo crm configure location loc_SAPHanaTop_not_on_majority_maker cln_SAPHanaTopology_HN1_HDB03 -inf: hana-s-mm
      

2. [1] Ek küme özelliklerini yapılandırma

   sudo crm configure rsc_defaults resource-stickiness=1000
   sudo crm configure rsc_defaults migration-threshold=50
   

3. [1] Kümeyi bakım modundan çıkartın. Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun.

   # Cleanup any failed resources - the following command is example 
   crm resource cleanup rsc_SAPHana_HN1_HDB03
   
   # Place the cluster out of maintenance mode
   sudo crm configure property maintenance-mode=false
   

4. [1] HANA HA kancası ile küme arasındaki iletişimi doğrulayarak SID için durum SOK'unu ve P(rimary) veya S (econdary) durumuyla her iki çoğaltma alanını da gösterir.

   sudo /usr/sbin/SAPHanaSR-showAttr
   # Expected result
   # Global cib-time                 maintenance prim  sec sync_state upd
   # ---------------------------------------------------------------------
   # HN1    Fri Jan 27 10:38:46 2023 false       HANA_S1 -   SOK        ok
   # 
   # Sites     lpt        lss mns        srHook srr
   # -----------------------------------------------
   # HANA_S1     1674815869 4   hana-s1-db1 PRIM   P
   # HANA_S2     30         4   hana-s2-db1 SWAIT  S
   

   Not

   Yukarıdaki yapılandırmadaki zaman aşımları yalnızca örnektir ve belirli HANA kurulumuna uyarlanması gerekebilir. Örneğin, SAP HANA veritabanını başlatmak daha uzun sürüyorsa başlangıç zaman aşımını artırmanız gerekebilir.

SAP HANA yük devretmeyi test edin

1. Teste başlamadan önce kümeyi ve SAP HANA sistem çoğaltma durumunu denetleyin.

   a. Başarısız küme eylemi olmadığını doğrulayın

   #Verify that there are no failed cluster actions
   crm status
   # Example 
   #7 nodes configured
   #24 resource instances configured
   #
   #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   #
   #Full list of resources:
   #
   # stonith-sbd    (stonith:external/sbd): Started hana-s-mm
   # Clone Set: cln_fs_HN1_HDB03_fscheck [fs_HN1_HDB03_fscheck]
   #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   #     Stopped: [ hana-s-mm ]
   # Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
   #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   #     Stopped: [ hana-s-mm ]
   # Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
   #     Masters: [ hana-s1-db1 ]
   #     Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   #     Stopped: [ hana-s-mm ]
   # Resource Group: g_ip_HN1_HDB03
   #     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hana-s1-db1
   #     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hana-s1-db1
   

   b. SAP HANA sistem çoğaltmanın eşitlenmiş olduğunu doğrulayın

   # Verify HANA HSR is in sync
   sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
   #| Database | Host         | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary    | Secondary | Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
   #|          |              |       |              |           |         |           | Host         | Port      | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
   #| -------- | ------------ | ----- | ------------ | --------- | ------- | --------- | ------------ | --------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
   #| SYSTEMDB | hana-s1-db1  | 30301 | nameserver   |         1 |       1 | HANA_S1   | hana-s2-db1  |     30301 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   #| HN1      | hana-s1-db1  | 30307 | xsengine     |         2 |       1 | HANA_S1   | hana-s2-db1  |     30307 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   #| HN1      | hana-s1-db1  | 30303 | indexserver  |         3 |       1 | HANA_S1   | hana-s2-db1  |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   #| HN1      | hana-s1-db3  | 30303 | indexserver  |         4 |       1 | HANA_S1   | hana-s2-db3  |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   #| HN1      | hana-s1-db2  | 30303 | indexserver  |         5 |       1 | HANA_S1   | hana-s2-db2  |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
   #
   #status system replication site "1": ACTIVE
   #overall system replication status: ACTIVE
   #
   #Local System Replication State
   #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   #
   #mode: PRIMARY
   #site id: 1
   #site name: HANA_S1
   

2. SLES üzerinde Azure VM'lerinde SAP HANA için HA'da ve SLES Çoğaltma ölçeği genişletme Performansı için İyileştirilmiş Senaryo'da belgelenen testleri gerçekleştirerek SAP HANA küme yapılandırmasını kapsamlı bir şekilde doğrulamanızı öneririz.

3. Bir düğüm NFS paylaşımına (/hana/shared ) erişimi kaybettiğinde hata senaryosu için küme yapılandırmasını doğrulayın.

   SAP HANA kaynak aracıları yük devretme sırasında işlemleri gerçekleştirmek için üzerinde /hana/shared depolanan ikili dosyalara bağlıdır. Dosya sistemi /hana/shared , sunulan yapılandırmada NFS üzerinden bağlanır. Gerçekleştirilebilecek bir test, birincil site VM'lerinden birinde NFS'ye bağlı dosya sistemine erişimi engellemek için /hana/shared geçici bir güvenlik duvarı kuralı oluşturmaktır. Bu yaklaşım, etkin sistem çoğaltma sitesinde erişimin /hana/shared kaybolması durumunda kümenin yük devretmesi olacağını doğrular.

   Beklenen sonuç: Birincil site VM'lerinden birinde NFS'ye /hana/shared bağlı dosya sistemine erişimi engellediğinizde, dosya sistemine erişemediğinden ve HANA kaynak yük devretmesini tetiklediğinden, dosya sisteminde okuma/yazma işlemi gerçekleştiren izleme işlemi başarısız olur. HANA düğümünüzün NFS paylaşımına erişimini kaybettiğinde de aynı sonuç beklenir.

   veya crm statusyürüterek crm_mon küme kaynaklarının durumunu de kontrol edebilirsiniz. Teste başlamadan önce kaynak durumu:

   # Output of crm_mon
   #7 nodes configured
   #24 resource instances configured
   #
   #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   #
   #Active resources:
   #
   #stonith-sbd     (stonith:external/sbd): Started hana-s-mm
   # Clone Set: cln_fs_HN1_HDB03_fscheck [fs_HN1_HDB03_fscheck]
   #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   # Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
   #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   # Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
   #     Masters: [ hana-s1-db1 ]
   #     Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   # Resource Group: g_ip_HN1_HDB03
   #     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hana-s2-db1
   #     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hana-s2-db1     
   

   için hata benzetimi yapmak için /hana/shared:

   • Azure NetApp Files üzerinde NFS kullanıyorsanız, önce birincil sitedeki /hana/shared Azure NetApp Files biriminin IP adresini onaylayın. komutunu çalıştırarak df -kh|grep /hana/sharedbunu yapabilirsiniz.
   • Azure Dosyalar'da NFS kullanıyorsanız, önce depolama hesabınızın özel uç noktasının IP adresini belirleyin.

   Ardından, birincil HANA sistem çoğaltma sitesi VM'lerinden /hana/shared birinde aşağıdaki komutu yürüterek NFS dosya sisteminin IP adresine erişimi engellemek için geçici bir güvenlik duvarı kuralı ayarlayın.

   Bu örnekte komutu Azure NetApp Files birimi /hana/sharediçin hana-s1-db1 üzerinde yürütüldü.

   iptables -A INPUT -s 10.23.1.7 -j DROP; iptables -A OUTPUT -d 10.23.1.7 -j DROP
   

   Küme kaynakları diğer HANA sistem çoğaltma sitesine geçirilecektir.

   AUTOMATED_REGISTER="false" değerini ayarlarsanız ikincil sitede SAP HANA sistem çoğaltmasını yapılandırmanız gerekir. Bu durumda, SAP HANA'yı ikincil olarak yeniden yapılandırmak için bu komutları yürütebilirsiniz.

   # Execute on the secondary 
   su - hn1adm
   # Make sure HANA is not running on the secondary site. If it is started, stop HANA
   sapcontrol -nr 03 -function StopWait 600 10
   # Register the HANA secondary site
   hdbnsutil -sr_register --name=HANA_S1 --remoteHost=hana-s2-db1 --remoteInstance=03 --replicationMode=sync
   # Switch back to root and cleanup failed resources
   crm resource cleanup SAPHana_HN1_HDB03
   

   Test sonrasında kaynakların durumu:

   # Output of crm_mon
   #7 nodes configured
   #24 resource instances configured
   #
   #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   #
   #Active resources:
   #
   #stonith-sbd     (stonith:external/sbd): Started hana-s-mm
   # Clone Set: cln_fs_HN1_HDB03_fscheck [fs_HN1_HDB03_fscheck]
   #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   # Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
   #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
   # Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
   #     Masters: [ hana-s2-db1 ]
   #     Slaves: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db2 hana-s2-db3 ]
   # Resource Group: g_ip_HN1_HDB03
   #     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hana-s2-db1
   #     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hana-s2-db1
   

Sonraki adımlar

• SAP için Azure Sanal Makineler planlama ve uygulama
• SAP için Azure Sanal Makineler dağıtımı
• SAP için Azure Sanal Makineler DBMS dağıtımı
• SAP HANA için Azure NetApp Files üzerinde NFS v4.1 birimleri
• Azure VM'lerinde SAP HANA'nın olağanüstü durum kurtarmasını planlama ve yüksek kullanılabilirlik oluşturma hakkında bilgi edinmek için bkz. Azure Sanal Makineler'de (VM'ler) SAP HANA'nın Yüksek Kullanılabilirliği.