Freigeben über

Tool zur Inhaltssicherheit (Text)

  • Artikel

Azure AI Content Safety ist ein von Microsoft entwickelter Con Zelt-Modus rationsdienst, der Ihnen hilft, schädliche Inhalte aus verschiedenen Modalitäten und Sprachen zu erkennen. Das Tool content Safety (Text) ist ein Wrapper für die Azure AI Content Safety Text-API, mit dem Sie Textinhalte erkennen und Moderationsergebnisse erhalten können. Weitere Informationen finden Sie unter Azure KI Inhaltssicherheit.

Voraussetzungen

  • Erstellen Sie eine Azure AI Content Safety-Ressource .
  • Fügen Sie eine Azure Content Safety Verbindung im Eingabeaufforderungsfluss hinzu. Füllen Sie das API key Feld aus Primary key dem Keys and Endpoint Abschnitt der erstellten Ressource aus.

Eingaben

Sie können als Eingaben für dieses Tool die folgenden Parameter verwenden:

Name Typ Beschreibung Erforderlich
text Zeichenfolge Text, der moderiert werden muss. Ja
hate_category Zeichenfolge Moderationsempfindlichkeit für die Hate Kategorie. Wählen Sie aus vier Optionen: disable, , low_sensitivity, medium_sensitivityoder high_sensitivity. Die disable Option bedeutet keine Moderation für die Hate Kategorie. Die anderen drei Optionen stehen für eine unterschiedlich strenge Filterung von Hassinhalten. Der Standardwert ist medium_sensitivity. Ja
sexual_category Zeichenfolge Moderationsempfindlichkeit für die Sexual Kategorie. Wählen Sie aus vier Optionen: disable, , low_sensitivity, medium_sensitivityoder high_sensitivity. Die disable Option bedeutet keine Moderation für die Sexual Kategorie. Die anderen drei Optionen stehen für eine unterschiedlich strenge Filterung von sexuellen Inhalten. Der Standardwert ist medium_sensitivity. Ja
self_harm_category Zeichenfolge Moderationsempfindlichkeit für die Self-harm Kategorie. Wählen Sie aus vier Optionen: disable, , low_sensitivity, medium_sensitivityoder high_sensitivity. Die disable Option bedeutet keine Moderation für die Self-harm Kategorie. Die anderen drei Optionen stehen für eine unterschiedlich strenge Filterung von Inhalten mit Bezug auf Selbstverletzung. Der Standardwert ist medium_sensitivity. Ja
violence_category Zeichenfolge Moderationsempfindlichkeit für die Violence Kategorie. Wählen Sie aus vier Optionen: disable, , low_sensitivity, medium_sensitivityoder high_sensitivity. Die disable Option bedeutet keine Moderation für die Violence Kategorie. Die anderen drei Optionen stehen für eine unterschiedlich strenge Filterung von Gewaltinhalten. Der Standardwert ist medium_sensitivity. Ja

Weitere Informationen finden Sie unter Azure KI Inhaltssicherheit.

Ausgaben

Das folgende Beispiel ist eine Beispiel-JSON-Formatantwort, die vom Tool zurückgegeben wird:

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

Das action_by_category Feld enthält einen binärwert für jede Kategorie: Accept oder Reject. Dieser Wert zeigt an, ob der Text die Empfindlichkeitsstufe erfüllt, die Sie in den Anforderungsparametern für diese Kategorie festgelegt haben.

Das Feld suggested_action gibt Ihnen eine allgemeine Empfehlung basierend auf den vier Kategorien. Wenn eine Kategorie einen Reject-Wert aufweist, ist suggested_action auch Reject.