Udostępnij za pośrednictwem

Narzędzie Bezpieczeństwo zawartości (tekst)

  • Artykuł

Bezpieczeństwo zawartości sztucznej inteligencji platformy Azure to usługa kon tryb namiotu ration opracowana przez firmę Microsoft, która ułatwia wykrywanie szkodliwej zawartości z różnych modalności i języków. Narzędzie Bezpieczeństwo zawartości (tekst) to otoka interfejsu API bezpieczeństwa zawartości usługi Azure AI, która umożliwia wykrywanie zawartości tekstowej i uzyskiwanie wyników moderowania. Aby uzyskać więcej informacji, zobacz Bezpieczeństwo zawartości usługi Azure AI.

Wymagania wstępne

  • Utwórz zasób bezpieczeństwa zawartości usługi Azure AI.
  • Azure Content Safety Dodaj połączenie w przepływie monitu. API key Wypełnij pole z Primary key Keys and Endpoint sekcji utworzonego zasobu.

Dane wejściowe

Następujące parametry można użyć jako danych wejściowych dla tego narzędzia:

Nazwisko Pisz Opis Wymagania
text string Tekst, który musi być moderowany. Tak
hate_category string Czułość moderowania dla Hate kategorii. Wybierz jedną z czterech opcji: disable, , low_sensitivitymedium_sensitivitylub high_sensitivity. Opcja disable oznacza brak moderowania dla Hate kategorii. Pozostałe trzy opcje oznaczają różne stopnie ścisłego filtrowania zawartości nienawiści. Wartość domyślna to medium_sensitivity. Tak
sexual_category string Czułość moderowania dla Sexual kategorii. Wybierz jedną z czterech opcji: disable, , low_sensitivitymedium_sensitivitylub high_sensitivity. Opcja disable oznacza brak moderowania dla Sexual kategorii. Pozostałe trzy opcje oznaczają różne stopnie ścisłego filtrowania treści seksualnych. Wartość domyślna to medium_sensitivity. Tak
self_harm_category string Czułość moderowania dla Self-harm kategorii. Wybierz jedną z czterech opcji: disable, , low_sensitivitymedium_sensitivitylub high_sensitivity. Opcja disable oznacza brak moderowania dla Self-harm kategorii. Pozostałe trzy opcje oznaczają różne stopnie ścisłego filtrowania zawartości samookaleczenia. Wartość domyślna to medium_sensitivity. Tak
violence_category string Czułość moderowania dla Violence kategorii. Wybierz jedną z czterech opcji: disable, , low_sensitivitymedium_sensitivitylub high_sensitivity. Opcja disable oznacza brak moderowania dla Violence kategorii. Pozostałe trzy opcje oznaczają różne stopnie ścisłego filtrowania treści przemocy. Wartość domyślna to medium_sensitivity. Tak

Aby uzyskać więcej informacji, zobacz Bezpieczeństwo zawartości usługi Azure AI.

Dane wyjściowe

Poniższy przykład to przykładowa odpowiedź w formacie JSON zwrócona przez narzędzie:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

Pole action_by_category zawiera wartość binarną dla każdej kategorii: Accept lub Reject. Ta wartość pokazuje, czy tekst spełnia poziom poufności ustawiony w parametrach żądania dla tej kategorii.

Pole suggested_action zawiera ogólną rekomendację opartą na czterech kategoriach. Jeśli dowolna kategoria ma wartość, suggested_action jest również Rejectwartością Reject .