Definições de rotas definidas pelo utilizador do Azure Databricks

Se seu espaço de trabalho do Azure Databricks for implantado em sua própria rede virtual (VNet), você poderá usar rotas personalizadas, também conhecidas como rotas definidas pelo usuário (UDR), para garantir que o tráfego de rede seja roteado corretamente para seu espaço de trabalho. Por exemplo, se você conectar a rede virtual à sua rede local, o tráfego poderá ser roteado pela rede local e não poderá alcançar o plano de controle do Azure Databricks. Rotas definidas pelo usuário podem resolver esse problema.

Você precisa de um UDR para cada tipo de conexão de saída da rede virtual. Você pode usar marcas de serviço do Azure e endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário. O Databricks recomenda o uso de tags de serviço do Azure para evitar interrupções de serviço devido a alterações de IP.

Configurar rotas definidas pelo usuário com marcas de serviço do Azure

O Databricks recomenda que você use marcas de serviço do Azure, que representam um grupo de prefixos de endereço IP de um determinado serviço do Azure. A Microsoft gerencia os prefixos de endereço incluídos pela etiqueta de serviço e atualiza automaticamente a etiqueta de serviço à medida que os endereços mudam. Isso ajuda a evitar interrupções de serviço devido a alterações de IP e elimina a necessidade de consultar periodicamente esses IPs e update-los na sua rota table. No entanto, se as políticas da sua organização não permitirem marcas de serviço, você poderá, opcionalmente , especificar as rotas como endereços IP.

Usando tags de serviço, as suas rotas definidas pelo utilizador devem usar as seguintes regras e associar a rota table às sub-redes públicas e privadas da vossa rede virtual.

A marca de serviço Azure Databricks representa endereços IP para os de saída necessários para o plano de controle do Azure Databricks, ode conectividade de cluster seguro (SCC) e o aplicativo Web Azure Databricks.

A tag de serviço SQL do Azure representa endereços IP necessários para a comunicação de saída (connections) com o metastore do Azure Databricks, e a tag de serviço do Armazenamento Azure representa endereços IP para o armazenamento de Blob de artefatos e armazenamento de Blob de logs. A tag de serviço Hubs de Eventos do Azure representa o connections necessário para saída para o registo no Hub de Eventos do Azure.

Algumas tags de serviço permitem um controle mais granular restringindo intervalos de IP a uma região especificada. Por exemplo, uma rota table para um espaço de trabalho do Azure Databricks nas regiões Oeste dos EUA pode ter o seguinte aspeto:

Para get as tags de serviço necessárias para rotas definidas pelo usuário, consulte Tags de serviço de rede virtual.

Configurar rotas definidas pelo usuário com endereços IP

O Databricks recomenda que você use marcas de serviço do Azure, mas se as políticas da sua organização não permitirem marcas de serviço, você poderá usar endereços IP para definir controles de acesso à rede em suas rotas definidas pelo usuário.

Os detalhes variam de acordo com se a SCC (conectividade segura de cluster) está habilitada para o espaço de trabalho:

• Se a conectividade de cluster seguro estiver habilitada para o espaço de trabalho, você precisará de um UDR para permitir que os clusters se conectem à retransmissão de conectividade de cluster seguro no plano de controle. Certifique-se de incluir os sistemas marcados como IP de relé SCC para sua região.
• Se a conectividade de cluster seguro estiver desabilitada para o espaço de trabalho, haverá uma conexão de entrada do NAT do Plano de Controle, mas o TCP SYN-ACK de baixo nível para essa conexão tecnicamente são dados de saída que exigem um UDR. Certifique-se de incluir os sistemas marcados como IP NAT do Plano de Controle para sua região.

As suas rotas definidas pelo utilizador devem usar as seguintes regras e associar a rota table às sub-redes públicas e privadas da sua rede virtual.

Se o Link Privado do Azure estiver ativado no seu espaço de trabalho, as suas rotas personalizadas deverão usar as seguintes regras e associar a rota table às sub-redes públicas e privadas da sua rede de área virtual.

Para get os endereços IP necessários para rotas definidas pelo usuário, use o tables e as instruções em regiões do Azure Databricks, especificamente:

• Endereços do plano de controle do Azure Databricks
• Endereço IP de armazenamento raiz DBFS
• Metastore, armazenamento de blobs de artefato, armazenamento do sistema tables, armazenamento de blobs de registo e endereços IP de ponto de extremidade de Hub de Eventos