Condividi tramite

Concetti di moderazione del testo

  • Articolo

Importante

Azure Content Moderator è deprecato a partire da febbraio 2024 e verrà ritirato entro febbraio 2027. Viene sostituito da Sicurezza dei contenuti di Azure AI, che offre funzionalità avanzate di intelligenza artificiale e prestazioni migliorate.

Sicurezza dei contenuti di Azure AI è una soluzione completa progettata per rilevare contenuti dannosi generati dagli utenti e dall'intelligenza artificiale nelle applicazioni e nei servizi. Sicurezza dei contenuti di Azure AI è adatto per molti scenari, ad esempio marketplace online, aziende di giochi, piattaforme di messaggistica sociale, aziende di contenuti multimediali aziendali e provider di soluzioni per la formazione K-12. Ecco una panoramica delle relative funzionalità e funzionalità:

  • API rilevamento di testo e immagini: analizza testo e immagini per contenuti sessuali, violenza, odio e autolesionismo con più livelli di gravità.
  • Studio di Sicurezza dei contenuti: uno strumento online progettato per gestire contenuti potenzialmente offensivi, rischiosi o indesiderati per mezzo di modelli di ML di moderazione dei contenuti all'avanguardia. Fornisce modelli e flussi di lavoro personalizzati, consentendo agli utenti di creare il proprio sistema di moderazione dei contenuti.
  • Supporto lingua: Sicurezza dei contenuti di Azure AI supporta più di 100 lingue ed è in particolare sottoposto a training su inglese, tedesco, giapponese, spagnolo, francese, italiano, portoghese e cinese.

Sicurezza dei contenuti di Azure AI offre una soluzione affidabile e flessibile per le esigenze di moderazione dei contenuti. Il passaggio da Content Moderator a Sicurezza dei contenuti di Azure AI permette di sfruttare gli strumenti e le tecnologie più recenti per garantire che il contenuto sia sempre moderato in base alle specifiche esatte.

Altre informazioni sulla Sicurezza dei contenuti di Azure per intelligenza artificiale ed esplorare come può elevare la strategia di moderazione dei contenuti.

È possibile usare i modelli di moderazione del testo di Azure Content Moderator per analizzare il contenuto di testo, ad esempio chat room, discussioni, chatbot, cataloghi di e-commerce e documenti.

La risposta del servizio include le informazioni seguenti:

  • Contenuto volgare: corrispondenza dei termini all'elenco integrato di termini volgari in varie lingue
  • Classificazione: classificazione automatica in tre categorie
  • Dati personali
  • Testo con correzione automatica
  • Original text
  • Lingua

Contenuto volgare

Se l'API rileva eventuali termini volgari in una qualsiasi delle lingue supportate, tali termini vengono inclusi nella risposta. La risposta contiene inoltre la loro posizione (Index) nel testo originale. Il ListId nell'esempio di JSON seguente fa riferimento a termini trovati negli elenchi di termini personalizzati, se disponibili.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Nota

Per il language parametro assegnare eng o lasciare vuoto per visualizzare la risposta di classificazione assistita da computer (funzionalità di anteprima). Questa funzionalità supporta solo la lingua inglese.

Per rilevare i termini volgari usare il codice ISO 639-3 delle lingue supportate elencate in questo articolo o lasciare il campo vuoto.

Classificazione

La funzione di classificazione del testo automatica di Content Moderator supporta solo la lingua inglese e consente di rilevare i contenuti potenzialmente indesiderati. Il contenuto contrassegnato potrebbe essere valutato come inappropriato a seconda del contesto. Comunica la probabilità di ogni categoria. La funzione utilizza un modello addestrato per identificare un possibile linguaggio offensivo, dispregiativo o discriminatorio. Ciò include gergo, parole abbreviate, parole offensive e scritte intenzionalmente in modo errato.

L'estratto seguente nell'estratto JSON mostra un esempio dell'output:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Spiegazione

  • Category1 si riferisce alla potenziale presenza di un linguaggio che può essere considerato sessualmente esplicito o adulto in determinate situazioni.
  • Category2 si riferisce alla potenziale presenza di linguaggio che potrebbe essere considerato sessualmente evocativo o maturo in determinate situazioni.
  • Category3 si riferisce alla potenziale presenza di un linguaggio che potrebbe essere considerato offensivo in determinate situazioni.
  • Score è compreso tra 0 e 1. Maggiore è il punteggio, maggiore è la probabilità che la categoria sia applicabile. Questa funzionalità si basa su un modello statistico e non su risultati codificati manualmente. Si consiglia di eseguire i test con i propri contenuti per determinare come ogni categoria si allinei alle proprie esigenze.
  • ReviewRecommended è true o false a seconda delle soglie interne del punteggio. I clienti devono valutare se usare questo valore o optare per le soglie personalizzate in base ai propri criteri relativi ai contenuti.

Dati personali

La funzionalità Dati personali rileva la possibile presenza di queste informazioni:

  • Indirizzo di posta elettronica
  • Indirizzo postale degli Stati Uniti
  • Indirizzo IP
  • Numero di telefono degli Stati Uniti

L'esempio seguente riporta una risposta di esempio:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Correzione automatica

La risposta di moderazione del testo può facoltativamente restituire il testo con correzione automatica di base applicata.

Ad esempio, il testo di input seguente presenta un errore di ortografia.

Cantami o Diva del pelide Achille l'ira funesta.

Se si specifica la correzione automatica, la risposta contiene la versione corretta del testo:

Cantami o Diva del pelide Achille l'ira funesta.

Creare e gestire elenchi personalizzati di termini

Anche se l'elenco globale dei termini è ideale per la maggior parte dei casi, è consigliabile usare termini specifici per le esigenze aziendali. Ad esempio, è possibile filtrare qualsiasi nome di marchio competitivo dai post da parte degli utenti.

Nota

Esiste un limite massimo di cinque elenchi di termini con ogni elenco per non superare 10.000 termini.

L'esempio illustra l'ID elenco corrispondente:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator fornisce un'API per elenchi di termini con operazioni per gestire elenchi di termini personalizzati. Vedere la guida introduttiva Per elenchi di termini .NET se si ha familiarità con Visual Studio e C#.

Contenuto correlato