Categorias personalizadas (versão prévia)
A Segurança de Conteúdo de IA do Azure permite que você crie e gerencie suas próprias categorias de moderação de conteúdo para moderação e filtragem aprimoradas que correspondam às suas políticas ou casos de uso específicos.
Tipos de personalização
Há várias maneiras de definir e usar categorias personalizadas, que são detalhadas e comparadas nesta seção.
| API | Funcionalidade |
|---|---|
| API de categorias personalizadas (padrão) | Use um modelo de aprendizado de máquina personalizável para criar, obter, consultar e excluir uma categoria personalizada. Ou liste todas as suas categorias personalizadas para outras tarefas de anotação. |
| API de categorias personalizadas (rápidas) | Use um LLM (modelo de linguagem grande) para aprender rapidamente padrões de conteúdo específicos em incidentes de conteúdo emergentes. |
API de categorias personalizadas (padrão)
A API de categorias personalizadas (padrão) permite que os clientes definam categorias específicas para suas necessidades, forneçam dados de amostra, treinem um modelo de aprendizado de máquina personalizado e o usem para classificar novos conteúdos de acordo com as categorias aprendidas.
Esse é o fluxo de trabalho padrão para personalização com modelos de aprendizado de máquina. Dependendo da qualidade dos dados de treinamento, ele pode atingir níveis de desempenho muito bons, mas pode levar várias horas para treinar o modelo.
Essa implementação funciona no conteúdo de texto, não no conteúdo de imagem.
API de categorias personalizadas (rápida)
A API de categorias personalizadas (rápidas) foi projetada para ser mais rápida e flexível do que o método padrão. Destina-se a ser usado para identificar, analisar, conter, erradicar e recuperar de incidentes cibernéticos que envolvem conteúdo impróprio ou prejudicial em plataformas online.
Um incidente pode envolver um conjunto de padrões de conteúdo emergentes (texto, imagem ou outras modalidades) que violam as diretrizes da comunidade da Microsoft ou as próprias políticas e expectativas dos clientes. Esses incidentes precisam ser mitigados de forma rápida e precisa para evitar possíveis problemas ao vivo ou danos a usuários e comunidades.
Essa implementação funciona em conteúdo de texto e conteúdo de imagem.
Dica
Uma maneira de lidar com incidentes de conteúdo emergente é usar listas de bloqueio, mas isso só permite correspondência exata de texto e nenhuma correspondência de imagem. A API de categorias personalizadas (rápidas) oferece os seguintes recursos avançados:
- correspondência de texto semântico usando a pesquisa de inserção com um classificador leve
- correspondência de imagem com um modelo leve de acompanhamento de objetos e pesquisa de inserção.
Como ele funciona
O recurso de categoria personalizada da Segurança de Conteúdo de IA do Azure usa um processo de várias etapas para criar, treinar e usar modelos de classificação de conteúdo personalizados. Aqui está uma olhada no fluxo de trabalho:
Etapa 1: Definição e configuração
Ao definir uma categoria personalizada, você precisa ensinar à IA que tipo de conteúdo deseja identificar. Isso envolve fornecer um nome de categoria claro e uma definição detalhada que encapsule as características do conteúdo.
Em seguida, você coleta um conjunto de dados equilibrado com exemplos positivos e (opcionalmente) negativos para ajudar a IA a aprender as nuances de sua categoria. Esses dados devem ser representativos da variedade de conteúdo que o modelo encontrará em um cenário do mundo real.
Etapa 2: Treinamento do modelo
Depois de preparar seu conjunto de dados e definir categorias, o serviço de Segurança de Conteúdo de IA do Azure treina um novo modelo de aprendizado de máquina. Esse modelo usa suas definições e o conjunto de dados carregado para executar o aumento de dados usando um modelo de linguagem grande. Como resultado, o conjunto de dados de treinamento é maior e de maior qualidade. Durante o treinamento, o modelo de IA analisa os dados e aprende a diferenciar entre o conteúdo que se alinha com a categoria especificada e o conteúdo que não se alinha.
Etapa 3: Inferência de modelo
Após o treinamento, você precisa avaliar o modelo para garantir que ele atenda aos seus requisitos de precisão. Teste o modelo com novo conteúdo que ele não recebeu antes. A fase de avaliação ajuda a identificar possíveis ajustes necessários para implantar o modelo em um ambiente de produção.
Etapa 4: Uso do modelo
Use a API analyzeCustomCategory para analisar o conteúdo do texto e determinar se ele corresponde à categoria personalizada que você definiu. O serviço retornará um booliano indicando se o conteúdo está alinhado com a categoria especificada
Limitações
Disponibilidade do idioma
As APIs de categorias personalizadas são compatíveis com todos os idiomas compatíveis com a moderação de texto da Segurança de conteúdo. Confira Suporte a linguagens.
Limitações de entrada
Consulte a tabela a seguir para obter as limitações de entrada da API de categorias personalizadas (padrão):
| Objeto | Limitação |
|---|---|
| Idiomas com suporte | Somente inglês |
| Número de categorias por usuário | 3 |
| Número de versões por categoria | 3 |
| Número de compilações simultâneas (processos) por categoria | 1 |
| Operações de inferência por segundo | 5 |
| Número de amostras em uma versão de categoria | Amostras positivas (obrigatórias): mínimo 50, máximo 5K No total (amostras negativas e positivas): 10K Não são permitidas amostras duplicadas. |
| Tamanho do arquivo de amostra | máximo de 128000 bytes |
| Comprimento de uma amostra de texto | máximo de 125 mil caracteres |
| Comprimento de uma definição de categoria | máximo de 1000 caracteres |
| Comprimento de um nome de categoria | máximo de 128 caracteres |
| Comprimento de uma URL de blob | máximo de 500 caracteres |