Compartilhar via

Ferramenta Segurança de conteúdo (texto)

  • Artigo

O Azure AI Content Safety é um serviço de moderação de conteúdo desenvolvido pela Microsoft que ajuda você a detectar conteúdo prejudicial de diferentes modalidades e idiomas. A ferramenta Segurança de Conteúdo (Texto) é um wrapper para a API de Texto de Segurança de Conteúdo do Azure AI, que permite detectar conteúdo de texto e obter resultados de moderação. Para obter mais informações, confira Segurança de Conteúdo de IA do Azure.

Pré-requisitos

  • Crie um recurso de Segurança de Conteúdo de IA do Azure.
  • Adicione uma Azure Content Safety conexão no fluxo de prompt. Preencha o API key campo com Primary key a Keys and Endpoint partir da seção do recurso criado.

Entradas

Você pode usar os seguintes parâmetros como entradas para essa ferramenta:

Nome Tipo Descrição Obrigatório
text string Texto que precisa ser moderado. Sim
hate_category string Sensibilidade de moderação para a Hate categoria. Escolha entre quatro opções: disable, low_sensitivity, medium_sensitivityou high_sensitivity. A disable opção significa que não há moderação para a Hate categoria. As outras três opções significam diferentes graus de rigidez na filtragem de conteúdo de ódio. O padrão é medium_sensitivity. Sim
sexual_category string Sensibilidade de moderação para a Sexual categoria. Escolha entre quatro opções: disable, low_sensitivity, medium_sensitivityou high_sensitivity. A disable opção significa que não há moderação para a Sexual categoria. As outras três opções significam diferentes graus de rigidez na filtragem de conteúdo sexual. O padrão é medium_sensitivity. Sim
self_harm_category string Sensibilidade de moderação para a Self-harm categoria. Escolha entre quatro opções: disable, low_sensitivity, medium_sensitivityou high_sensitivity. A disable opção significa que não há moderação para a Self-harm categoria. As outras três opções significam diferentes graus de rigor na filtragem de conteúdo de automutilação. O padrão é medium_sensitivity. Sim
violence_category string Sensibilidade de moderação para a Violence categoria. Escolha entre quatro opções: disable, low_sensitivity, medium_sensitivityou high_sensitivity. A disable opção significa que não há moderação para a Violence categoria. As outras três opções significam diferentes graus de rigidez na filtragem do conteúdo de violência. O padrão é medium_sensitivity. Sim

Para obter mais informações, confira Segurança de Conteúdo de IA do Azure.

Saídas

O exemplo a seguir é um exemplo de resposta de formato JSON retornado pela ferramenta:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

O action_by_category campo fornece um valor binário para cada categoria: Accept ou Reject. Esse valor mostra se o texto atende ao nível de sensibilidade definido nos parâmetros de solicitação para essa categoria.

O campo suggested_action fornece uma recomendação geral com base nas quatro categorias. Se alguma categoria tiver um valor Reject, suggested_action também será Reject.