Monitorização de segurança melhorada
Este artigo descreve o recurso de monitoramento de segurança aprimorado e como configurá-lo em seu espaço de trabalho ou conta do Azure Databricks.
Se você habilitar esse recurso, será cobrado pelo complemento Segurança Reforçada e Conformidade, conforme descrito na página de preços.
Visão geral do monitoramento de segurança aprimorado
O monitoramento de segurança aprimorado do Azure Databricks fornece uma imagem de disco reforçada e agentes de monitoramento de segurança adicionais que generate linhas de log que você pode revisar usando logs de diagnóstico.
Os aprimoramentos de segurança se aplicam apenas a recursos de computação no plano de computação clássico, como clusters e armazéns SQL sem servidor.
Os recursos do plano de computação sem servidor, como armazéns SQL sem servidor, não têm monitoramento extra quando o monitoramento de segurança aprimorado está habilitado.
Nota
A maioria dos tipos de instância do Azure são suportados, mas a geração 2 (Gen2) e as máquinas virtuais baseadas em Arm64 não são suportadas. O Azure Databricks não permite iniciar a computação com esses tipos de instância quando o monitoramento de segurança aprimorada está habilitado.
A monitorização de segurança melhorada inclui:
Uma imagem melhorada do sistema operativo reforçada baseada no Ubuntu Advantage.
Ubuntu Advantage é um pacote de segurança empresarial e suporte para infraestrutura de código aberto e aplicações que inclui uma imagem reforçada CIS Nível 1 .
Agente de monitoramento antivírus que generate logs que você pode revisar.
Agente de monitoramento de integridade de arquivos que generate logs que você pode revisar.
Agentes de monitoramento em imagens de plano de computação do Azure Databricks
Embora o monitoramento de segurança aprimorado esteja habilitado, há agentes de monitoramento de segurança adicionais, incluindo dois agentes pré-instalados na imagem do plano de computação aprimorado. Não é possível desativar os agentes de monitoramento que estão na imagem de disco do plano de computação avançado.
| Agente de monitorização | Location | Description | Como realizar a saída get |
|---|---|---|---|
| Monitorização da integridade do ficheiro | Imagem de plano de computação aprimorada | Monitora a integridade de arquivos e violações de limites de segurança. Este agente de monitor é executado na VM de trabalho no cluster. | Habilite o log de auditoria do sistema table e revise o log de auditoria para novas linhas. |
| Deteção de antivírus e malware | Imagem de plano de computação aprimorada | Verifica o sistema de arquivos em busca de vírus diariamente. Esse agente de monitor é executado nas VMs em seus recursos de computação, como clusters e armazéns SQL profissionais ou clássicos. O agente de deteção de antivírus e malware verifica todo o sistema de arquivos do sistema operacional host e o sistema de arquivos do contêiner Databricks Runtime. Qualquer coisa fora das VMs de cluster está fora de seu escopo de verificação. | Habilite o log de auditoria do sistema table e reveja os logs para novas linhas . |
| Análise de vulnerabilidades | A verificação acontece em imagens representativas nos ambientes do Azure Databricks. | Verifica o host do contêiner (VM) em busca de determinadas vulnerabilidades conhecidas e CVEs (Common Vulnerabilities and Exposures). | Enviado por e-mail para administradores de espaço de trabalho do Azure Databricks. |
Para get as versões mais recentes dos agentes de monitoramento, você pode reiniciar os clusters. Se o seu espaço de trabalho usar o cluster automático update, por padrão, os clusters serão reiniciados, se necessário, durante as janelas de manutenção agendadas. Se a de perfil de segurança de conformidade
Monitorização da integridade do ficheiro
A imagem do plano de computação aprimorado inclui um serviço de monitoramento de integridade de arquivos que fornece visibilidade de tempo de execução e deteção de ameaças para recursos de computação (trabalhadores de cluster) no plano de computação clássico em seu espaço de trabalho.
A saída do monitor de integridade dos ficheiros é registada nos seus registos de auditoria, os quais pode aceder com o sistema tables. Consulte Monitor de atividade de conta com o sistema tables. Para obter o schema JSON para novos eventos auditáveis específicos para monitoramento de integridade de arquivos, consulte Eventos de monitoramento de integridade de arquivos.
Importante
É da sua responsabilidade rever estes registos. A Databricks pode, a seu exclusivo critério, revisar esses registros, mas não se compromete a fazê-lo. Se o agente detetar uma atividade maliciosa, é sua responsabilidade triar esses eventos e abrir um tíquete de suporte com o Databricks se a resolução ou correção exigir uma ação do Databricks. A Databricks pode tomar medidas com base nesses logs, incluindo suspender ou encerrar os recursos, mas não se compromete a fazê-lo.
Deteção de antivírus e malware
A imagem do plano de computação aprimorado inclui um mecanismo antivírus para detetar trojans, vírus, malware e outras ameaças maliciosas. O monitor antivírus verifica todo o sistema de arquivos do sistema operacional host e o sistema de arquivos do contêiner Databricks Runtime. Qualquer coisa fora das VMs de cluster está fora de seu escopo de verificação.
A saída do monitor antivírus é gerada dentro de logs de auditoria, que você pode acessar com sistema tables. Para obter o JSON schema para novos eventos auditáveis específicos da monitorização de antivírus, consulte Eventos de monitorização de antivírus.
Quando uma nova imagem de máquina virtual é criada, arquivos de assinatura atualizados são incluídos nela.
Importante
É da sua responsabilidade rever estes registos. A Databricks pode, a seu exclusivo critério, revisar esses registros, mas não se compromete a fazê-lo. Se o agente detetar uma atividade maliciosa, é sua responsabilidade triar esses eventos e abrir um tíquete de suporte com o Databricks se a resolução ou correção exigir uma ação do Databricks. A Databricks pode tomar medidas com base nesses logs, incluindo suspender ou encerrar os recursos, mas não se compromete a fazê-lo.
Quando uma nova imagem AMI é criada, arquivos de assinatura atualizados são incluídos na nova imagem AMI.
Análise de vulnerabilidades
Um agente de monitor de vulnerabilidade executa verificações de vulnerabilidade do host de contêiner (VM) para determinadas CVEs conhecidas. A verificação acontece em imagens representativas nos ambientes do Azure Databricks. Os relatórios de verificação de vulnerabilidade são enviados por email para todos os administradores do espaço de trabalho quando o Azure Databricks lança novas imagens de disco AMI.
Quando vulnerabilidades são encontradas com esse agente, o Databricks as rastreia em relação ao SLA de Gerenciamento de Vulnerabilidades e libera uma imagem atualizada quando disponível.
Gestão e modernização dos agentes de monitorização
Os agentes de monitoramento adicionais que estão nas imagens de disco usadas para os recursos de computação no plano de computação clássico fazem parte do processo padrão do Azure Databricks para atualizar sistemas:
- A imagem de disco base (AMI) clássica do plano de computação é de propriedade, gerenciada e corrigida pelo Databricks.
- O Databricks fornece e aplica patches de segurança lançando novas imagens de disco AMI. O cronograma de entrega depende da nova funcionalidade e do SLA para vulnerabilidades descobertas. O parto típico é a cada duas a quatro semanas.
- O sistema operacional base para o plano de computação é o Ubuntu Advantage.
- Os clusters do Azure Databricks e os armazéns SQL pro ou clássicos são efêmeros por padrão. Após a inicialização, clusters e armazéns SQL profissionais ou clássicos usam a imagem base mais recente disponível. As versões mais antigas que podem ter vulnerabilidades de segurança não estão disponíveis para novos clusters.
- Você é responsável por reiniciar clusters (usando a interface do usuário ou API) regularmente para garantir que eles usem as imagens de VM de host corrigidas mais recentes.
Monitorar o encerramento do agente
Se um agente de monitor na VM de trabalho não estiver em execução devido a falha ou outro encerramento, o sistema tentará reiniciar o agente.
Política de retenção de dados para monitorar dados do agente
Os logs de monitoramento são enviados para o sistema de log de auditoria table seu próprio armazenamento em sua assinatura do Azure se você configurou logs de diagnóstico. A retenção, ingestão e análise desses logs é de sua responsabilidade.
Os relatórios e logs de verificação de vulnerabilidades são retidos por pelo menos um ano pelo Databricks.
Habilitar o monitoramento de segurança aprimorado do Azure Databricks
- Seu espaço de trabalho do Azure Databricks deve estar no plano Premium.
Para habilitar o monitoramento de segurança aprimorado em um espaço de trabalho, consulte Habilitar recursos avançados de segurança e conformidade usando o portal do Azure.
As atualizações podem levar até seis horas para serem propagadas para todos os ambientes e para sistemas downstream, como faturamento. As cargas de trabalho que estão em execução ativa continuam com as configurações que estavam ativas no momento de iniciar o cluster ou outro recurso de computação, e novas configurações começarão a ser aplicadas na próxima vez que essas cargas de trabalho forem iniciadas.