Quais são as configurações de nó padrão e recomendadas para o Azure HDInsight?
Este artigo discute as configurações de nó padrão e recomendadas para clusters do Azure HDInsight.
Configuração de nó padrão e mínimo recomendado e tamanhos de máquina virtual para clusters
As tabelas a seguir listam os tamanhos padrão e recomendados de máquina virtual (VM) para clusters HDInsight. Essas informações são necessárias para entender os tamanhos de VM a serem usados ao criar scripts do PowerShell ou da CLI do Azure para implantar clusters HDInsight.
Se você precisar de mais de 32 nós de trabalho em um cluster, selecione um tamanho de nó principal com pelo menos 8 núcleos e 14 GB de RAM.
Os únicos tipos de cluster que têm discos de dados são clusters Kafka e HBase com o recurso Gravações Aceleradas habilitado. O HDInsight oferece suporte a tamanhos de disco P30 e S30 nesses cenários. Para todos os outros tipos de cluster, o HDInsight fornece espaço em disco gerenciado com o cluster. A partir de 11/07/2019, o tamanho do disco gerenciado de cada nó no cluster recém-criado é de 128 GB. Isso não pode ser alterado.
As especificações de todos os tipos mínimos recomendados de VM usados neste documento são resumidas na tabela a seguir.
| Tamanho | vCPU | Memória: GiB | Armazenamento (SSD) temporário GiB | Débito do armazenamento temporário máximo: IOPS/MBps de Leitura/MBps de Escrita | Máximo do disco de dados/débito: IOPS | Max NICs / largura de banda de rede esperada (Mbps) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12000 / 187 / 93 | 16 / 16x500 | 4 / 3000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24000 / 375 / 187 | 32 / 32x500 | 8 / 6000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12000 / 187 / 93 | 16 / 16x500 | 4 / 3000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24000 / 375 / 187 | 32 / 32x500 | 8 / 6000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_A1_v2 | 1 | 2 | 10 | 1000 / 20 / 10 | 2 / 2x500 | 2 / 250 |
| Standard_A2_v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4x500 | 2 / 500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8x500 | 4 / 1000 |
Para obter mais informações sobre as especificações de cada tipo de VM, consulte os seguintes documentos:
- Tamanhos de máquinas virtuais de uso geral:
Dv2séries 1-5 - Tamanhos de máquina virtual otimizados para memória:
Dv2série 11-15 - Tamanhos de máquinas virtuais de uso geral:
Av2séries 1-8
Todas as regiões suportadas
Nota
Para obter o identificador SKU para uso no powershell e em outros scripts, adicione Standard_ ao início de todas as SKUs de VM nas tabelas abaixo. Por exemplo, D12_v2 passaria a ser Standard_D12_v2.
| Tipo de cluster | Hadoop | HBase | Interactive Query | Spark | Kafka |
|---|---|---|---|---|---|
| Cabeçalho: tamanho padrão da VM | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Cabeçalho: tamanhos mínimos recomendados de VM | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Trabalhador: tamanho padrão da VM | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 com 2 discos S30 por broker |
| Trabalhador: tamanhos mínimos recomendados de VM | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| ZooKeeper: tamanho padrão da VM | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper: tamanhos mínimos recomendados de VM | A4_v2 | A4_v2 | A4_v2 |
* = Tamanhos de VM para clusters ESP (Spark Enterprise Security Package)
Nota
- Worker é conhecido como Region para o tipo de cluster HBase.