Alertas para cargas de trabalho de IA (visualização)
Este artigo lista os alertas de segurança que você pode receber para cargas de trabalho de IA do Microsoft Defender for Cloud e de qualquer plano do Microsoft Defender habilitado. Os alertas mostrados em seu ambiente dependem dos recursos e serviços que você está protegendo e da sua configuração personalizada.
Nota
Alguns dos alertas adicionados recentemente com o Microsoft Defender Threat Intelligence e o Microsoft Defender for Endpoint podem não estar documentados.
Saiba como responder a esses alertas.
Nota
Alertas de fontes diferentes podem levar diferentes quantidades de tempo para aparecer. Por exemplo, alertas que exigem análise do tráfego de rede podem levar mais tempo para aparecer do que alertas relacionados a processos suspeitos em execução em máquinas virtuais.
Alertas de carga de trabalho de IA
Tentativas de roubo de credenciais detetadas em uma implantação de modelo de IA do Azure
(AI. Azure_CredentialTheftAttempt)
Descrição: O alerta de roubo de credenciais foi projetado para notificar o SOC quando as credenciais são detetadas nas respostas do modelo GenAI a um prompt do usuário, indicando uma possível violação. Esse alerta é crucial para detetar casos de vazamento ou roubo de credenciais, que são exclusivos da IA generativa e podem ter consequências graves se forem bem-sucedidos.
Táticas MITRE: Acesso a Credenciais, Movimento Lateral, Exfiltração
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo de IA do Azure foi bloqueada pelos Escudos de Prompt de Segurança de Conteúdo do Azure AI
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descrição: O alerta de Jailbreak, realizado usando uma técnica de injeção direta de prompt, é projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as salvaguardas da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que tais tentativas foram bloqueadas pelo Azure Responsible AI Content Safety (também conhecido como Prompt Shields), garantindo a integridade dos recursos de IA e a segurança dos dados.
Táticas MITRE: Escalada de Privilégios, Evasão de Defesa
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo de IA do Azure foi detetada pelos Escudos de Prompt de Segurança de Conteúdo do Azure AI
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descrição: O alerta de Jailbreak, realizado usando uma técnica de injeção direta de prompt, é projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as salvaguardas da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que essas tentativas foram detetadas pelo Azure Responsible AI Content Safety (também conhecido como Prompt Shields), mas não foram bloqueadas devido a configurações de filtragem de conteúdo ou devido à baixa confiança.
Táticas MITRE: Escalada de Privilégios, Evasão de Defesa
Gravidade: Média
Exposição de dados confidenciais detetada na implantação do modelo de IA do Azure
(AI. Azure_DataLeakInModelResponse.Sensível)
Descrição: O alerta de vazamento de dados confidenciais foi projetado para notificar o SOC de que um modelo GenAI respondeu a uma solicitação do usuário com informações confidenciais, potencialmente devido a um usuário mal-intencionado tentando contornar as proteções da IA generativa para acessar dados confidenciais não autorizados.
Táticas MITRE: Coleção
Gravidade: Baixa
Aplicativo de IA corrompido\modelo\dados direcionou uma tentativa de phishing a um usuário
(AI. Azure_PhishingContentInModelResponse)
Descrição: Este alerta indica uma corrupção de um aplicativo de IA desenvolvido pela organização, pois compartilhou ativamente um URL malicioso conhecido usado para phishing com um usuário. A URL originou-se dentro do próprio aplicativo, o modelo de IA ou os dados que o aplicativo pode acessar.
Táticas MITRE: Impacto (Defacement)
Gravidade: Alta
URL de phishing compartilhado em um aplicativo de IA
(AI. Azure_PhishingContentInAIApplication)
Descrição: este alerta indica uma potencial corrupção de uma aplicação de IA ou uma tentativa de phishing por parte de um dos utilizadores finais. O alerta determina que um URL malicioso usado para phishing foi passado durante uma conversa através do aplicativo de IA, no entanto, a origem do URL (usuário ou aplicativo) não é clara.
Táticas MITRE: Impacto (Defacement), Coleção
Gravidade: Alta
Tentativa de phishing detetada em um aplicativo de IA
(AI. Azure_PhishingContentInUserPrompt)
Descrição: este alerta indica que um URL utilizado para um ataque de phishing foi enviado por um utilizador para uma aplicação de IA. O conteúdo normalmente atrai os visitantes a inserir suas credenciais corporativas ou informações financeiras em um site de aparência legítima. Enviar isso para um aplicativo de IA pode ter o objetivo de corrompê-lo, envenenar as fontes de dados às quais ele tem acesso ou obter acesso a funcionários ou outros clientes por meio das ferramentas do aplicativo.
Táticas MITRE: Coleção
Gravidade: Alta
Agente de usuário suspeito detetado
(AI. Azure_AccessFromSuspiciousUserAgent)
Descrição: O agente de usuário de uma solicitação que acessa um dos seus recursos de IA do Azure continha valores anômalos indicativos de uma tentativa de abuso ou manipulação do recurso. O agente de usuário suspeito em questão foi mapeado pela inteligência de ameaças da Microsoft como suspeito de intenção maliciosa e, portanto, seus recursos provavelmente foram comprometidos.
Táticas MITRE: Execução, Reconhecimento, Acesso inicial
Gravidade: Média
ASCII Contrabando injeção imediata detetada
(AI. Azure_ASCIISmuggling)
Descrição: A técnica de contrabando ASCII permite que um invasor envie instruções invisíveis para um modelo de IA. Esses ataques são comumente atribuídos a injeções de prompt indireto, onde o agente de ameaça mal-intencionado está passando instruções ocultas para ignorar o aplicativo e modelar guarda-corpos. Esses ataques geralmente são aplicados sem o conhecimento do usuário, dada a sua falta de visibilidade no texto e podem comprometer as ferramentas do aplicativo ou conjuntos de dados conectados.
Táticas MITRE: Impacto
Gravidade: Alta
Acesso a partir de um IP Tor
(AI. Azure_AccessFromAnonymizedIP)
Descrição: Um endereço IP da rede Tor acessou um dos recursos de IA. Tor é uma rede que permite que as pessoas acessem a Internet, mantendo seu IP real escondido. Embora existam usos legítimos, é frequentemente usado por atacantes para ocultar a sua identidade quando visam os sistemas das pessoas online.
Táticas MITRE: Execução
Gravidade: Alta
Nota
Para alertas que estão em pré-visualização: Os Termos Suplementares do Azure Preview incluem termos legais adicionais que se aplicam a funcionalidades do Azure que estão em versão beta, pré-visualização ou que ainda não foram disponibilizadas para disponibilidade geral.