Configurar o armazenamento e a escalabilidade para o Apache Kafka no HDInsight
Saiba como configurar o número de discos gerenciados usados pelo Apache Kafka no HDInsight.
O Kafka no HDInsight usa o disco local das máquinas virtuais no cluster HDInsight. Como o Kafka tem E/S bastante pesadas, os Azure Managed Disks são usados para fornecer a alta taxa de transferência e fornecer mais armazenamento por nó. Se os discos rígidos virtuais (VHD) tradicionais tiverem sido usados para o Kafka, cada nó estará limitado a 1 TB. Com os discos gerenciados, você pode usar vários discos para alcançar 16 TB para cada nó no cluster.
O diagrama a seguir fornece uma comparação entre o Kafka no HDInsight antes dos discos gerenciados e o Kafka no HDInsight com os discos gerenciados:
Configurar discos gerenciados: portal do Azure
Siga as etapas de Criar um cluster HDInsight para compreender as etapas comuns para criar um cluster usando o portal. Não conclua o processo de criação do portal.
Na seção Configuração e preço, use o campo Número de Nós para configurar o número de discos.
Observação
O tipo de disco gerenciado pode ser Standard (HDD) ou Premium (SSD). Os discos Premium são usados com as VMs das séries DS e GS. Todos os outros tipos VM usam o padrão.
Configurar discos gerenciados: modelo do Gerenciador de Recursos
Para controlar o número de discos usados por nós de trabalho em um cluster do Kafka, use a seção a seguir do modelo:
"dataDisksGroups": [
{
"disksPerNode": "[variables('disksPerWorkerNode')]"
}
],
Próximas etapas
Para obter mais informações sobre como trabalhar com o Apache Kafka no HDInsight, consulte os seguintes documentos: