O que é a Segurança de Conteúdo de IA do Azure?
A IA do Azure Content Safety é um serviço de IA que detecta conteúdo prejudicial gerado por usuários e por IA em aplicativos e serviços. A Segurança de Conteúdo de IA do Azure inclui APIs de texto e imagem que permitem detectar material prejudicial. O Content Safety Studio interativo permite que você visualize, explore e experimente códigos de exemplo para detectar conteúdo prejudicial em diferentes modalidades.
Insira software de filtragem de conteúdo em seu aplicativo para obedecer a regulamentos ou manter o ambiente pretendido para seus usuários.
Esta documentação contém os seguintes tipos de artigos:
- Os conceitos fornecem explicações detalhadas sobre a funcionalidade e os recursos do serviço.
- Os guias de início rápido são instruções de introdução que orientam sobre como fazer solicitações ao serviço.
- Os guias de instruções contêm instruções de uso do serviço de maneiras mais específicas ou personalizadas.
Como ele é usado
Estes são alguns cenários nos quais uma equipe ou um desenvolvedor de software precisaria de um software de moderação de conteúdo:
- Prompts de usuário enviados para um serviço de IA generativa.
- Conteúdo produzido por modelos de IA generativa.
- Marketplaces online que moderam catálogos de produtos e outros tipos de conteúdo gerados pelo usuário.
- Empresas de jogos que moderam artefatos de jogos gerados pelo usuário e salas de chat.
- Plataformas de mensagens sociais que moderam imagens, textos e vídeos adicionados pelos usuários.
- Empresas de mídia corporativa que implementam moderação de conteúdo centralizada para seu conteúdo.
- Provedores de soluções de ensino fundamental e médio que filtram conteúdo considerado inapropriado para alunos e professores.
Importante
Não é possível usar a Segurança de Conteúdo de IA do Azure para examinar imagens ilícitas de exploração infantil.
Recursos do produto
Esse serviço disponibiliza vários tipos diferentes de análises. A tabela a seguir descreve as funções atuais.
| Recurso | Funcionalidade | Guia de conceitos | Introdução |
|---|---|---|---|
| Proteções de prompt | Verifica o texto em busca do risco de um ataque de entrada do usuário em um modelo de linguagem grande. | Conceitos do Prompt Shields | Início rápido |
| Detecção de fundamentação (versão prévia) | Detecta se as respostas de texto de grandes modelos de linguagem (LLMs) são baseadas nos materiais de origem fornecidos pelos usuários. | Conceitos da detecção de fundamentação | Início rápido |
| Detecção de texto de material protegido | Examina o texto gerado por IA em busca de conteúdos de texto conhecidos (por exemplo, letras de músicas, artigos, receitas, conteúdo Web selecionado). | Conceitos de materiais protegidos | Início rápido |
| Categorias personalizadas (padrão) API (versão prévia) | Permite criar e treinar suas categorias de conteúdo personalizado e verificar o texto quando às correspondências. | Conceitos de categorias personalizadas | Início rápido |
| API de categorias personalizadas (rápida) (versão prévia) | Permite definir padrões de conteúdo nocivos emergentes e examinar texto e imagens para correspondências. | Conceitos de categorias personalizadas | Guia de instruções |
| API de Análise de texto | Examina o texto quanto a conteúdo sexual, violência, ódio e automutilação com níveis de multi severidade. | Categorias de danos | Início rápido |
| API de Análise de imagem | Examina imagens de conteúdo sexual, violência, ódio e automutilação com níveis de multi severidade. | Categorias de danos | Início rápido |
Content Safety Studio
O Azure AI Content Safety Studio é uma ferramenta online projetada para lidar com conteúdo potencialmente ofensivo, arriscado ou indesejável usando modelos de ML de moderação de conteúdo de ponta. Ele fornece modelos e fluxos de trabalho personalizados, permitindo que os usuários escolham e criem seu próprio sistema de moderação de conteúdo. Os usuários podem carregar seu próprio conteúdo ou experimentá-lo com o conteúdo de exemplo fornecido.
O Content Safety Studio não só contém modelos de IA prontos para uso, mas também inclui listas de bloqueio de termos integradas da Microsoft para sinalizar palavrões e se manter atualizado com novas tendências de conteúdo. Você também pode carregar suas próprias listas de bloqueios para aprimorar a cobertura de conteúdo prejudicial específico ao seu caso de uso.
O Studio também permite configurar um fluxo de trabalho de moderação, no qual você pode monitorar e melhorar continuamente o desempenho de moderação de conteúdo. Ele pode ajudá-lo a atender aos requisitos de conteúdo de todos os tipos de setores, como jogos, mídia, educação, comércio eletrônico e muito mais. As empresas podem conectar facilmente seus serviços ao Studio e ter seu conteúdo moderado em tempo real, seja gerado pelo usuário ou gerado por IA.
Todos esses recursos são tratados pelo Studio e seu back-end; os clientes não precisam se preocupar com o desenvolvimento de modelos. Você pode integrar seus dados para validação rápida e monitorar seus KPIs adequadamente, como métricas técnicas (latência, precisão, recall) ou métricas de negócios (taxa de bloqueio, volume de blocos, proporções de categoria, proporções de idioma, e muito mais). Com operações e configurações simples, os clientes podem testar soluções diferentes rapidamente e encontrar o melhor ajuste, em vez de gastar tempo experimentando modelos personalizados ou fazendo moderação manualmente.
Recursos do Content Safety Studio
No Content Safety Studio, os seguintes recursos do IA do Azure Content Safety estão disponíveis:
Conteúdo moderado de texto: com a ferramenta de moderação de texto, você pode executar facilmente testes no conteúdo de texto. Se você deseja testar uma única frase ou um conjunto de dados inteiro, nossa ferramenta oferece uma interface amigável que permite avaliar os resultados do teste diretamente no portal. Você pode experimentar diferentes níveis de confidencialidade para configurar seus filtros de conteúdo e o gerenciamento de lista de bloqueios, garantindo que seu conteúdo seja sempre moderado às suas especificações exatas. Além disso, com a capacidade de exportar o código, você pode implementar a ferramenta diretamente em seu aplicativo, simplificando seu fluxo de trabalho e economizando tempo.
Conteúdo moderado de imagem: com a ferramenta de moderação de imagem, você pode executar testes facilmente em imagens para garantir que elas atendam aos seus padrões de conteúdo. Nossa interface amigável permite que você avalie os resultados do teste diretamente no portal e você pode experimentar diferentes níveis de confidencialidade para configurar seus filtros de conteúdo. Depois de personalizar suas configurações, você pode exportar facilmente o código para implementar a ferramenta em seu aplicativo.
Monitorar atividade online: a poderosa página de monitoramento permite que você acompanhe facilmente o uso da API de moderação e as tendências em diferentes modalidades. Com esse recurso, você pode acessar informações detalhadas de resposta, incluindo distribuição de categoria e gravidade, latência, erro e detecção de lista de bloqueios. Essas informações fornecem uma visão geral completa do desempenho de moderação de conteúdo, permitindo otimizar o fluxo de trabalho e garantir que o conteúdo seja sempre moderado às especificações exatas. Com nossa interface amigável, você pode navegar rapidamente e facilmente na página de monitoramento para acessar as informações necessárias para tomar decisões informadas sobre sua estratégia de moderação de conteúdo. Você tem as ferramentas necessárias para manter o desempenho de moderação de conteúdo e atingir suas metas de conteúdo.
Segurança
Usar a ID do Microsoft Entra ou a Identidade Gerenciada para gerenciar o acesso
Para maior segurança, você pode usar a ID do Microsoft Entra ou a Identidade Gerenciada (MI) para gerenciar o acesso aos seus recursos.
- A Identidade Gerenciada é habilitada automaticamente quando você cria um recurso de Segurança de Conteúdo.
- A ID do Microsoft Entra tem suporte nos cenários de API e SDK. Consulte a diretriz geral dos serviços de IA de Autenticação do com a ID do Microsoft Entra. Você também pode conceder acesso a outros usuários em sua organização atribuindo a eles as funções de Usuários dos Serviços Cognitivos e Leitor. Para saber mais sobre como conceder acesso de usuário aos recursos do Azure usando o portal do Azure, confira o Guia de controle de acesso baseado em função.
Criptografia de dados em repouso
Saiba como a Segurança de Conteúdo de IA do Azure lida com a criptografia e a descriptografia de seus dados. As Chaves gerenciadas pelo cliente (CMK), também conhecidas como BYOK (Bring Your Own Key), oferecem maior flexibilidade para criar, desabilitar e revogar os controles de acesso, assim como fazer sua rotação. Você também pode auditar as chaves de criptografia usadas para proteger seus dados.
Preços
Atualmente, o IA do Azure Content Safety tem um nível de preço F0 e S0. Consulte a página de preços do Azure para obter mais informações.
Limites de serviço
Requisitos de entrada
Consulte a lista a seguir para saber quais os requisitos de entrada para cada recurso.
- API de Análise de texto:
- Comprimento máximo padrão: 10 mil caracteres (dividir textos mais longos conforme necessário).
- API de Análise de imagem:
- Tamanho máximo do arquivo de imagem: 4 MB
- Dimensões entre 50 x 50 e 7200 x 7200 pixels.
- As imagens podem estar em formatos JPEG, PNG, GIF, BMP, TIFF ou WEBP.
- Analisar a API multimodal (versão prévia):
- Tamanho máximo de texto padrão: 1K caracteres.
- Tamanho máximo do arquivo de imagem: 4 MB
- Dimensões entre 50 x 50 e 7200 x 7200 pixels.
- As imagens podem estar em formatos JPEG, PNG, GIF, BMP, TIFF ou WEBP.
- API de Escudos de Prompt:
- Comprimento máximo do prompt: 10 mil caracteres.
- Até cinco documentos com um total de 10 mil caracteres.
- API de detecção de aterramento (versão prévia):
- Comprimento máximo para fontes de fundamentação: 55.000 caracteres (por chamada à API).
- Tamanho máximo de texto e consulta: 7.500 caracteres.
- APIs de detecção de material protegido:
- Comprimento máximo padrão: mil caracteres.
- Comprimento mínimo padrão: 110 caracteres (para verificar conclusões de LLM, não prompts de usuário).
- Categorias personalizadas (padrão) API (versão prévia):
- Comprimento máximo de entrada de inferência: mil caracteres.
Suporte ao idioma
Os modelos de Segurança de Conteúdo de IA do Azure para material protegido, detecção de aterramento e categorias personalizadas (padrão) funcionam somente em inglês.
Outros modelos de Segurança de Conteúdo de IA do Azure foram especificamente treinados e testados nos seguintes idiomas: chinês, inglês, francês, alemão, espanhol, italiano, japonês, português. No entanto, esses recursos podem funcionar em muitos outros idiomas, mas a qualidade pode variar. Em todos os casos, você deve fazer seus próprios testes para garantir que ele funcione no seu aplicativo.
Para mais informações, consulte Suporte do idioma.
Disponibilidade de região
Para usar as APIs de Segurança de Conteúdo, você deve criar seu recurso de Segurança de Conteúdo de IA do Azure em uma região com suporte. Atualmente, os recursos de Segurança de conteúdo estão disponíveis nas seguintes regiões do Azure:
| Region | APIs de moderação (texto e imagem) | APIs de moderação (multimodal) (versão prévia) | Proteções de prompt | Detecção de material protegido para texto | Detecção de material protegido para Código | Detecção de fundamentação (versão prévia) | Categorias personalizadas (rápido) (versão prévia) | Categorias personalizadas (padrão) (versão prévia) |
|---|---|---|---|---|---|---|---|---|
| Leste da Austrália | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Brazil South | ✅ | ✅ | ✅ | |||||
| Canadá Central | ✅ | ✅ | ✅ | |||||
| Índia Central | ✅ | ✅ | ||||||
| Leste do Canadá | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Centro dos EUA | ✅ | ✅ | ✅ | ✅ | ||||
| Leste dos EUA | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Leste dos EUA 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| França Central | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Centro-Oeste da Alemanha | ✅ | ✅ | ✅ | |||||
| Norte da Índia | ✅ | ✅ | ||||||
| Norte da Itália | ✅ | ✅ | ✅ | |||||
| Leste do Japão | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Oeste do Japão | ✅ | ✅ | ||||||
| Coreia Central | ✅ | |||||||
| Centro-Norte dos EUA | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Leste da Noruega | ✅ | |||||||
| Polônia Central | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Norte da África do Sul | ✅ | ✅ | ✅ | ✅ | ||||
| Centro-Sul dos Estados Unidos | ✅ | ✅ | ✅ | |||||
| Sudeste da Ásia | ✅ | ✅ | ✅ | |||||
| Sul da Índia | ✅ | ✅ | ✅ | ✅ | ||||
| Suécia Central | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Norte da Suíça | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Oeste da Suíça | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Norte dos EAU | ✅ | |||||||
| Sul do Reino Unido | ✅ | ✅ | ✅ | ✅ | ||||
| Europa Ocidental | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Oeste dos EUA | ✅ | ✅ | ✅ | ✅ | ||||
| Oeste dos EUA 2 | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Oeste dos EUA 3 | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Gov. EUA – Arizona | ✅ | ✅ | ✅ | |||||
| USGov Virginia | ✅ | ✅ | ✅ |
Sinta-se à vontade para entrar em contato conosco caso sua empresa precise que outras regiões estejam disponíveis.
Taxas de consulta
Os recursos da Segurança de Conteúdo têm limites de taxa de consulta em RPS (solicitações por segundo) ou RP10S (solicitações por 10 segundos). Consulte a tabela a seguir para obter os limites de taxa de cada recurso.
| Tipo de preços | APIs de Moderação (texto e imagem) |
Proteções de prompt | Material protegido facial |
Fundamentação detecção (versão prévia) |
Categorias personalizadas (rápido) (versão prévia) |
Categorias personalizadas (padrão) (versão prévia) |
Multimodal |
|---|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | N/D | 5 RPS | 5 RPS | 5 RPS |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RPS | 1000 RP10S | 5 RPS | 10 RPS |
Se precisar de uma tarifa mais rápida, entre em contato conosco para solicitá-la.
Fale conosco
Se tiver dificuldades, envie um email para nós ou use o widget de comentários ao final de qualquer página do Microsoft Learn.
Próximas etapas
Siga um guia de início rápido para começar a usar a Segurança de Conteúdo de IA do Azure em seu aplicativo.