Bekleyen veriler için Azure HDInsight çift şifrelemesi

Bu makalede Azure HDInsight kümelerinde bekleyen verilerin şifrelenmesine yönelik yöntemler ele alınmaktadır. Bekleyen veri şifrelemesi, HDInsight kümesi sanal makinelerine bağlı yönetilen disklerde (veri diskleri, işletim sistemi diskleri ve geçici diskler) şifrelemeyi ifade eder.

Bu belge, Azure Depolama hesabınızda depolanan verileri ele almaz. Kümelerinizde, şifreleme anahtarlarının Microsoft tarafından veya müşteri tarafından yönetilebileceği ancak şifreleme hizmetinin farklı olduğu bir veya daha fazla ekli Azure Depolama hesabı olabilir. Azure Depolama şifrelemesi hakkında daha fazla bilgi için bkz . Bekleyen veriler için Azure Depolama şifrelemesi.

Giriş

Azure'da üç ana yönetilen disk rolü vardır: veri diski, işletim sistemi diski ve geçici disk. Farklı yönetilen disk türleri hakkında daha fazla bilgi için bkz . Azure yönetilen disklerine giriş.

HDInsight iki farklı katmanda birden çok şifreleme türünü destekler:

• Sunucu Tarafı Şifrelemesi (SSE) - SSE, depolama hizmeti tarafından gerçekleştirilir. HDInsight'ta SSE, işletim sistemi disklerini ve veri disklerini şifrelemek için kullanılır. Varsayılan olarak etkindir. SSE bir katman 1 şifreleme hizmetidir.
• Platform tarafından yönetilen anahtarı kullanarak konakta şifreleme - SSE'ye benzer şekilde, bu tür bir şifreleme depolama hizmeti tarafından gerçekleştirilir. Ancak, yalnızca geçici diskler içindir ve varsayılan olarak etkinleştirilmez. Konakta şifreleme aynı zamanda bir katman 1 şifreleme hizmetidir.
• Müşteri tarafından yönetilen anahtar kullanılarak bekleyen şifreleme - Bu tür şifreleme, verilerde ve geçici disklerde kullanılabilir. Varsayılan olarak etkinleştirilmez ve müşterinin Azure anahtar kasası aracılığıyla kendi anahtarını sağlaması gerekir. Bekleyen şifreleme bir katman 2 şifreleme hizmetidir.

Bu türler aşağıdaki tabloda özetlenmiştir.

Müşteri tarafından yönetilen anahtarları kullanarak bekleyen şifreleme

Müşteri tarafından yönetilen anahtar şifrelemesi, küme oluşturma sırasında ek ücret ödemeden işlenen tek adımlı bir işlemdir. Tek yapmanız gereken Azure Key Vault ile yönetilen kimliği yetkilendirmek ve kümenizi oluştururken şifreleme anahtarını eklemektir.

Hem veri diskleri hem de kümenin her düğümündeki geçici diskler simetrik Veri Şifreleme Anahtarı (DEK) ile şifrelenir. DEK, anahtar kasanızdan Anahtar Şifreleme Anahtarı (KEK) kullanılarak korunur. Şifreleme ve şifre çözme işlemleri tamamen Azure HDInsight tarafından işlenir.

Küme VM'lerine bağlı işletim sistemi diskleri için yalnızca bir şifreleme katmanı (PMK) kullanılabilir. Senaryoları için CMK şifrelemesi gerekiyorsa müşterilerin hassas verileri işletim sistemi disklerine kopyalamaktan kaçınmaları önerilir.

Anahtar kasası güvenlik duvarı, disk şifreleme anahtarının depolandığı anahtar kasasında etkinleştirilirse, kümenin dağıtılacağı bölgenin HDInsight bölgesel Kaynak Sağlayıcısı IP adresleri anahtar kasası güvenlik duvarı yapılandırmasına eklenmelidir. HDInsight güvenilir bir Azure anahtar kasası hizmeti olmadığından bu gereklidir.

Anahtar kasasında anahtarları güvenli bir şekilde döndürmek için Azure portalını veya Azure CLI'yi kullanabilirsiniz. Bir anahtar döndürüldüğünde, HDInsight kümesi dakikalar içinde yeni anahtarı kullanmaya başlar. Fidye yazılımı senaryolarına ve yanlışlıkla silmeye karşı koruma sağlamak için Geçici Silme anahtar koruma özelliklerini etkinleştirin. Bu koruma özelliği olmayan anahtar kasaları desteklenmez.

Müşteri tarafından yönetilen anahtarları kullanmaya başlama

Müşteri tarafından yönetilen anahtar özellikli hdInsight kümesi oluşturmak için aşağıdaki adımları izleyeceğiz:

1. Azure kaynakları için yönetilen kimlikler oluşturma
2. Azure Key Vault oluşturma
3. Anahtar oluşturma
4. Erişim ilkesi oluşturma
5. Müşteri tarafından yönetilen anahtar etkinken HDInsight kümesi oluşturma
6. Şifreleme anahtarını döndürme

Her adım aşağıdaki bölümlerden birinde ayrıntılı olarak açıklanmıştır.

Azure kaynakları için yönetilen kimlikler oluşturma

Key Vault'ta kimlik doğrulaması yapmak için kullanıcı tarafından atanan bir yönetilen kimlik oluşturun.

Belirli adımlar için bkz . Kullanıcı tarafından atanan yönetilen kimlik oluşturma. Yönetilen kimliklerin Azure HDInsight'ta nasıl çalıştığı hakkında daha fazla bilgi için bkz . Azure HDInsight'ta yönetilen kimlikler. Key Vault erişim ilkesine eklediğinizde yönetilen kimlik kaynak kimliğini kaydettiğinizden emin olun.

Azure Key Vault oluşturma

Anahtar kasası oluşturma. Belirli adımlar için bkz . Azure Key Vault oluşturma.

HDInsight yalnızca Azure Key Vault'u destekler. Kendi anahtar kasanız varsa anahtarlarınızı Azure Key Vault'a aktarabilirsiniz. Anahtar kasasında Geçici silmenin etkin olması gerektiğini unutmayın. Mevcut anahtarları içeri aktarma hakkında daha fazla bilgi için Anahtarlar, gizli diziler ve sertifikalar hakkında'yı ziyaret edin.

Anahtar oluşturma

1. Yeni anahtar kasanızdan Ayarlar>Anahtarları>+ Oluştur/İçeri Aktar'a gidin.

   

2. Bir ad girin ve Oluştur'u seçin. Varsayılan Anahtar Türü olan RSA'nın bakımını yapma.

   

3. Anahtarlar sayfasına döndüğünüzde, oluşturduğunuz anahtarı seçin.

   

4. Anahtar Sürümü sayfasını açmak için sürümü seçin. HDInsight küme şifrelemesi için kendi anahtarınızı kullandığınızda anahtar URI'sini sağlamanız gerekir. Anahtar tanımlayıcısını kopyalayın ve kümenizi oluşturmaya hazır olana kadar bir yere kaydedin.

   

Erişim ilkesi oluşturma

1. Yeni anahtar kasanızdan Ayarlar>Erişim ilkeleri>+ Erişim İlkesi Ekle'ye gidin.

   

2. Erişim ilkesi ekle sayfasında aşağıdaki bilgileri sağlayın:

   Özellik	Açıklama
   Anahtar İzinleri	Al, Anahtarı Aç ve Sarmala'yı seçin.
   Gizli Dizi İzinleri	Al, Ayarla ve Sil'i seçin.
   Sorumlu seçin	Daha önce oluşturduğunuz kullanıcı tarafından atanan yönetilen kimliği seçin.

   

3. Ekle'yi seçin.

4. Kaydet'i seçin.

   

Müşteri tarafından yönetilen anahtar disk şifrelemesi ile küme oluşturma

Artık yeni bir HDInsight kümesi oluşturmaya hazırsınız. Müşteri tarafından yönetilen anahtarlar yalnızca küme oluşturma sırasında yeni kümelere uygulanabilir. Şifreleme, müşteri tarafından yönetilen anahtar kümelerinden kaldırılamaz ve müşteri tarafından yönetilen anahtarlar mevcut kümelere eklenemez.

Kasım 2020 sürümünden itibaren HDInsight, hem sürüm hem de sürüm olmayan anahtar URI'leri kullanılarak küme oluşturulmasını destekler. Kümeyi sürüm bilgisi olmayan anahtar URI'siyle oluşturursanız HDInsight kümesi, Anahtar Azure Key Vault'unuzda güncelleştirildiğinde anahtar otomatik döndürme işlemini gerçekleştirmeye çalışır. Kümeyi sürümlü anahtar URI'siyle oluşturursanız, Şifreleme anahtarını döndürme bölümünde açıklandığı gibi el ile anahtar döndürme işlemi gerçekleştirmeniz gerekir.

Kasım 2020 sürümünden önce oluşturulan kümeler için, sürümlenmiş anahtar URI'sini kullanarak anahtar döndürme işlemini el ile gerçekleştirmeniz gerekir.

Disk şifrelemeyi destekleyen VM türleri

Azure portalını kullanma

Küme oluşturma sırasında, aşağıdaki şekilde sürümü oluşturulan bir anahtar veya sürümsüz anahtar kullanabilirsiniz:

• Sürümlendi - Küme oluşturma sırasında anahtar sürümü de dahil olmak üzere tam Anahtar tanımlayıcısını sağlayın. Örneğin, https://contoso-kv.vault.azure.net/keys/myClusterKey/46ab702136bc4b229f8b10e8c2997fa4.
• Sürümsüz - Küme oluşturma sırasında yalnızca Anahtar tanımlayıcısını sağlayın. Örneğin, https://contoso-kv.vault.azure.net/keys/myClusterKey.

Ayrıca yönetilen kimliği kümeye atamanız gerekir.

Azure CLI'yı kullanma

Aşağıdaki örnekte Azure CLI kullanarak disk şifrelemesi etkinleştirilmiş yeni bir Apache Spark kümesi oluşturma adımları gösterilmektedir. Daha fazla bilgi için bkz . Azure CLI az hdinsight create. parametresi encryption-key-version isteğe bağlıdır.

az hdinsight create -t spark -g MyResourceGroup -n MyCluster \
-p "HttpPassword1234!" --workernode-data-disks-per-node 2 \
--storage-account MyStorageAccount \
--encryption-key-name SparkClusterKey \
--encryption-key-version 00000000000000000000000000000000 \
--encryption-vault-uri https://MyKeyVault.vault.azure.net \
--assign-identity MyMSI

Azure Resource Manager şablonlarını kullanma

Aşağıdaki örnekte, disk şifrelemesi etkinleştirilmiş yeni bir Apache Spark kümesi oluşturmak için Azure Resource Manager şablonunun nasıl kullanılacağı gösterilmektedir. Daha fazla bilgi için bkz . ARM şablonları nedir?. Kaynak yöneticisi şablon özelliği diskEncryptionKeyVersion isteğe bağlıdır.

Bu örnekte şablonu çağırmak için PowerShell kullanılır.

$templateFile = "azuredeploy.json"
$ResourceGroupName = "MyResourceGroup"
$clusterName = "MyCluster"
$password = ConvertTo-SecureString 'HttpPassword1234!' -AsPlainText -Force
$diskEncryptionVaultUri = "https://MyKeyVault.vault.azure.net"
$diskEncryptionKeyName = "SparkClusterKey"
$diskEncryptionKeyVersion = "00000000000000000000000000000000"
$managedIdentityName = "MyMSI"

New-AzResourceGroupDeployment `
  -Name mySpark `
  -TemplateFile $templateFile `
  -ResourceGroupName $ResourceGroupName `
  -clusterName $clusterName `
  -clusterLoginPassword $password `
` -sshPassword $password `
  -diskEncryptionVaultUri $diskEncryptionVaultUri `
  -diskEncryptionKeyName $diskEncryptionKeyName `
  -diskEncryptionKeyVersion $diskEncryptionKeyVersion `
  -managedIdentityName $managedIdentityName

Kaynak yönetimi şablonunun içeriği: azuredeploy.json

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "0.9.0.0",
  "parameters": {
    "clusterName": {
      "type": "string",
      "metadata": {
        "description": "The name of the HDInsight cluster to create."
      }
    },
    "clusterLoginUserName": {
      "type": "string",
      "defaultValue": "admin",
      "metadata": {
        "description": "These credentials can be used to submit jobs to the cluster and to log into cluster dashboards."
      }
    },
    "clusterLoginPassword": {
      "type": "securestring",
      "metadata": {
        "description": "The password must be at least 10 characters in length and must contain at least one digit, one non-alphanumeric character, and one upper or lower case letter."
      }
    },
    "location": {
      "type": "string",
      "defaultValue": "[resourceGroup().location]",
      "metadata": {
        "description": "The location where all azure resources will be deployed."
      }
    },
    "sshUserName": {
      "type": "string",
      "defaultValue": "sshuser",
      "metadata": {
        "description": "These credentials can be used to remotely access the cluster."
      }
    },
    "sshPassword": {
      "type": "securestring",
      "metadata": {
        "description": "The password must be at least 10 characters in length and must contain at least one digit, one non-alphanumeric character, and one upper or lower case letter."
      }
    },
    "headNodeSize": {
      "type": "string",
      "defaultValue": "Standard_D12_v2",
      "metadata": {
        "description": "The VM size of the head nodes."
      }
    },
    "workerNodeSize": {
      "type": "string",
      "defaultValue": "Standard_D13_v2",
      "metadata": {
        "description": "The VM size of the worker nodes."
      }
    },
    "diskEncryptionVaultUri": {
      "type": "string",
      "metadata": {
        "description": "The Key Vault DNSname."
      }
    },
    "diskEncryptionKeyName": {
      "type": "string",
      "metadata": {
        "description": "The Key Vault key name."
      }
    },
    "diskEncryptionKeyVersion": {
      "type": "string",
      "metadata": {
        "description": "The Key Vault key version for the selected key."
      }
    },
    "managedIdentityName": {
      "type": "string",
      "metadata": {
        "description": "The user-assigned managed identity."
      }
    }
  },
  "variables": {
    "defaultStorageAccount": {
      "name": "[uniqueString(resourceGroup().id)]",
      "type": "Standard_LRS"
    }
  },
  "resources": [
    {
      "type": "Microsoft.Storage/storageAccounts",
      "name": "[variables('defaultStorageAccount').name]",
      "location": "[parameters('location')]",
      "apiVersion": "2019-06-01",
      "sku": {
        "name": "[variables('defaultStorageAccount').type]"
      },
      "kind": "Storage",
      "properties": {}
    },
    {
      "apiVersion": "2018-06-01-preview",
      "name": "[parameters('clusterName')]",
      "type": "Microsoft.HDInsight/clusters",
      "location": "[parameters('location')]",
      "properties": {
        "clusterVersion": "3.6",
        "osType": "Linux",
        "tier": "standard",
        "clusterDefinition": {
          "kind": "spark",
          "componentVersion": {
            "Spark": "2.3"
          },
          "configurations": {
            "gateway": {
              "restAuthCredential.isEnabled": true,
              "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
              "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
            }
          }
        },
        "storageProfile": {
          "storageaccounts": [
            {
              "name": "[replace(replace(reference(resourceId('Microsoft.Storage/storageAccounts', variables('defaultStorageAccount').name), '2019-06-01').primaryEndpoints.blob,'https://',''),'/','')]",
              "isDefault": true,
              "container": "[parameters('clusterName')]",
              "key": "[listKeys(resourceId('Microsoft.Storage/storageAccounts', variables('defaultStorageAccount').name), '2019-06-01').keys[0].value]"
            }
          ]
        },
        "computeProfile": {
          "roles": [
            {
              "name": "headnode",
              "minInstanceCount": 1,
              "targetInstanceCount": 2,
              "hardwareProfile": {
                "vmSize": "[parameters('headNodeSize')]"
              },
              "osProfile": {
                "linuxOperatingSystemProfile": {
                  "username": "[parameters('sshUserName')]",
                  "password": "[parameters('sshPassword')]"
                },
              },
            },
            {
              "name": "workernode",
              "targetInstanceCount": 1,
              "hardwareProfile": {
                "vmSize": "[parameters('workerNodeSize')]"
              },
              "osProfile": {
                "linuxOperatingSystemProfile": {
                  "username": "[parameters('sshUserName')]",
                  "password": "[parameters('sshPassword')]"
                },
              },
            }
          ]
        },
        "minSupportedTlsVersion": "1.2",
        "diskEncryptionProperties": {
          "vaultUri": "[parameters('diskEncryptionVaultUri')]",
          "keyName": "[parameters('diskEncryptionKeyName')]",
          "keyVersion": "[parameters('diskEncryptionKeyVersion')]",
          "msiResourceId": "[resourceID('Microsoft.ManagedIdentity/userAssignedIdentities/', parameters('managedIdentityName'))]"
        }
      },
      "identity": {
        "type": "UserAssigned",
        "userAssignedIdentities": {
          "[resourceID('Microsoft.ManagedIdentity/userAssignedIdentities/', parameters('managedIdentityName'))]": {}
        }
      }
    }
  ]
}

Şifreleme anahtarını döndürme

Azure portalını veya Azure CLI'yı kullanarak çalışan kümenizde kullanılan şifreleme anahtarlarını değiştirebilirsiniz. Bu işlem için kümenin hem geçerli anahtara hem de hedeflenen yeni anahtara erişimi olmalıdır, aksi takdirde anahtarı döndürme işlemi başarısız olur. Kasım 2020 sürümünden sonra oluşturulan kümeler için yeni anahtarınızın bir sürüme sahip olmasını isteyip istemediğinizi seçebilirsiniz. Kasım 2020 sürümünden önce oluşturulan kümeler için, şifreleme anahtarını döndürürken sürümü oluşturulmuş bir anahtar kullanmanız gerekir.

Azure portalını kullanma

Anahtarı döndürmek için temel anahtar kasası URI'sine ihtiyacınız vardır. Bunu yaptıktan sonra portalda HDInsight küme özellikleri bölümüne gidin ve Disk Şifreleme Anahtarı URL'si altında Anahtarı Değiştir'e tıklayın. Yeni anahtar URL'sini girin ve anahtarı döndürmek için gönderin.

Azure CLI'yı kullanma

Aşağıdaki örnek, var olan bir HDInsight kümesi için disk şifreleme anahtarının nasıl döndürüldüğünü gösterir. Daha fazla bilgi için bkz . Azure CLI az hdinsight rotate-disk-encryption-key.

az hdinsight rotate-disk-encryption-key \
--encryption-key-name SparkClusterKey \
--encryption-key-version 00000000000000000000000000000000 \
--encryption-vault-uri https://MyKeyVault.vault.azure.net \
--name MyCluster \
--resource-group MyResourceGroup

Müşteri tarafından yönetilen anahtar şifrelemesi hakkında SSS

HDInsight kümesi anahtar kasama nasıl erişmektedir?

HDInsight, HDInsight kümesiyle ilişkilendirdiğiniz yönetilen kimliği kullanarak Azure Key Vault örneğine erişir. Bu yönetilen kimlik, küme oluşturmadan önce veya bu sırada oluşturulabilir. Ayrıca yönetilen kimliğe anahtarın depolandığı anahtar kasasına erişim vermeniz gerekir.

Bu özellik HDInsight'ta tüm kümeler için kullanılabilir mi?

Müşteri tarafından yönetilen anahtar şifrelemesi Spark 2.1 ve 2.2 dışındaki tüm küme türleri için kullanılabilir.

Farklı diskleri veya klasörleri şifrelemek için birden çok anahtar kullanabilir miyim?

Hayır, tüm yönetilen diskler ve kaynak diskler aynı anahtarla şifrelenir.

Küme anahtar kasasına veya anahtara erişimi kaybederse ne olur?

Küme anahtara erişimi kaybederse Apache Ambari portalında uyarılar gösterilir. Bu durumda Anahtarı Değiştir işlemi başarısız olur. Anahtar erişimi geri yüklendikten sonra Ambari uyarıları kaybolur ve anahtar döndürme gibi işlemler başarıyla gerçekleştirilebilir.

Anahtarlar silinirse kümeyi nasıl kurtarabilirim?

Yalnızca "Geçici Silme" etkin anahtarlar desteklendiği için anahtarlar anahtar kasasında kurtarılırsa kümenin anahtarlara yeniden erişim kazanması gerekir. Azure Key Vault anahtarını kurtarmak için bkz . Undo-AzKeyVaultKeyRemoval veya az-keyvault-key-recover.

Bir kümenin ölçeği artırılırsa, yeni düğümler müşteri tarafından yönetilen anahtarları sorunsuz bir şekilde destekleyecek mi?

Evet. Ölçek artırma sırasında kümenin anahtar kasasındaki anahtara erişmesi gerekir. Kümedeki hem yönetilen diskleri hem de kaynak diskleri şifrelemek için aynı anahtar kullanılır.

Müşteri tarafından yönetilen anahtarlar konumumda kullanılabilir mi?

HDInsight müşteri tarafından yönetilen anahtarlar tüm genel bulutlarda ve ulusal bulutlarda kullanılabilir.

Platform tarafından yönetilen anahtarları kullanarak konakta şifreleme

Azure portalında etkinleştirme

Konaktaki şifreleme, Azure portalında küme oluşturma sırasında etkinleştirilebilir.

Bu seçenek, PMK kullanarak HDInsight VM'leri geçici veri diskleri için konakta şifrelemeyi etkinleştirir. Konakta şifreleme yalnızca sınırlı bölgelerdeki belirli VM SKU'larında desteklenir ve HDInsight aşağıdaki düğüm yapılandırmasını ve SKU'ları destekler.

HDInsight kümeniz için doğru VM boyutunu anlamak için bkz . Azure HDInsight kümeniz için doğru VM boyutunu seçme. Konakta şifreleme etkinleştirildiğinde Zookeeper için varsayılan VM SKU'su DS2V2 olacaktır.

PowerShell’i kullanarak etkinleştirme

Aşağıdaki kod parçacığında, PowerShell kullanarak konakta şifreleme etkinleştirilmiş yeni bir Azure HDInsight kümesi oluşturma adımları gösterilmektedir. Özelliği etkinleştirmek için parametresini -EncryptionAtHost $true kullanır.

$storageAccountResourceGroupName = "Group"
$storageAccountName = "yourstorageacct001"
$storageAccountKey = Get-AzStorageAccountKey `
    -ResourceGroupName $storageAccountResourceGroupName `
    -Name $storageAccountName | %{ $_.Key1 }
$storageContainer = "container002"
# Cluster configuration info
$location = "East US 2"
$clusterResourceGroupName = "Group"
$clusterName = "your-hadoop-002"
$clusterCreds = Get-Credential
# If the cluster's resource group doesn't exist yet, run:
# New-AzResourceGroup -Name $clusterResourceGroupName -Location $location
# Create the cluster
New-AzHDInsightCluster `
    -ClusterType Hadoop `
    -ClusterSizeInNodes 4 `
    -ResourceGroupName $clusterResourceGroupName `
    -ClusterName $clusterName `
    -HttpCredential $clusterCreds `
    -Location $location `
    -DefaultStorageAccountName "$storageAccountName.blob.core.contoso.net" `
    -DefaultStorageAccountKey $storageAccountKey `
    -DefaultStorageContainer $storageContainer `
    -SshCredential $clusterCreds `
    -EncryptionAtHost $true `

Azure CLI’yı kullanarak etkinleştirme

Aşağıdaki kod parçacığında, Azure CLI kullanarak konakta şifreleme özelliği etkinleştirilmiş yeni bir Azure HDInsight kümesi oluşturma adımları gösterilmektedir. Özelliği etkinleştirmek için parametresini --encryption-at-host true kullanır.

az hdinsight create -t spark -g MyResourceGroup -n MyCluster \\
-p "yourpass" \\
--storage-account MyStorageAccount --encryption-at-host true

Sonraki adımlar

• Azure Key Vault hakkında daha fazla bilgi için bkz . Azure Key Vault nedir?
• Azure HDInsight'ta kurumsal güvenliğe genel bakış.