Monitoraggio degli abusi

Il servizio OpenAI di Azure rileva e attenua le istanze di contenuto ricorrente e/o comportamenti che suggeriscono l'uso del servizio in modo che possa violare il Codice di comportamento o altri termini del prodotto applicabili. Informazioni dettagliate sulla gestione dei dati sono disponibili nella pagina Dati, Privacy e Sicurezza .

Componenti del monitoraggio degli abusi

Esistono diversi componenti per il monitoraggio degli abusi:

• Classificazione del contenuto: i modelli di classificatore rilevano testo dannoso e/o immagini nelle richieste utente (input) e completamenti (output). Il sistema cerca le categorie di danni definite in Requisiti di contenuto e assegna i livelli di gravità, come descritto più dettagliatamente nella pagina Filtro contenuto. I segnali di classificazione del contenuto contribuiscono al rilevamento dei criteri come descritto di seguito.
• Acquisizione di modelli di abuso: il sistema di monitoraggio degli abusi del servizio OpenAI di Azure esamina i modelli di utilizzo dei clienti e usa algoritmi ed euristiche per rilevare e assegnare punteggi agli indicatori di potenziali abusi. I modelli rilevati considerano, ad esempio, la frequenza e la gravità in cui viene rilevato contenuto dannoso (come indicato nei segnali del classificatore di contenuto) nei prompt e nei completamenti di un cliente, nonché la intenzionalità del comportamento. Le tendenze e l'urgenza del modello rilevato influiranno anche sull'assegnazione dei punteggi di gravità dell'abuso potenziale. Ad esempio, un volume più elevato di contenuti dannosi classificati come gravità più elevata o un comportamento ricorrente che indica intenzionalità (ad esempio tentativi di jailbreak ricorrenti) è entrambi più probabile che ricevano un punteggio elevato che indica potenziali abusi.
• Revisione e decisione: i prompt e i completamenti contrassegnati tramite la classificazione dei contenuti e/o identificati come parte di un modello di utilizzo potenzialmente offensivo vengono sottoposti a un altro processo di revisione per confermare l'analisi del sistema e informare le decisioni di azione. Tale revisione viene condotta tramite due metodi: revisione umana e revisione dell'IA.
  • Per impostazione predefinita, se le richieste e i completamenti vengono contrassegnati tramite la classificazione del contenuto come dannosa e/o identificata come parte di un modello di utilizzo potenzialmente offensivo, possono essere campionati per una revisione automatizzata, occhi-off usando un LLM anziché un revisore umano. LLM utilizzato per questo scopo elabora richieste e completamenti solo per confermare l'analisi del sistema e informare le decisioni di azione; richieste e completamenti che subiscono tale revisione LLM non vengono archiviati dal sistema o usati per eseguire il training del LLM o di altri sistemi.
  • In alcuni casi, quando la revisione automatizzata non soddisfa le soglie di attendibilità applicabili in contesti complessi o se i sistemi di revisione LLM non sono disponibili, la revisione degli occhi umani può essere introdotta per fare un giudizio aggiuntivo. Ciò può contribuire a migliorare l'accuratezza complessiva dell'analisi degli abusi. I dipendenti Microsoft autorizzati possono valutare il contenuto contrassegnato e confermare o correggere la classificazione o la determinazione in base a linee guida e criteri predefiniti. È possibile accedere a richieste e completamenti solo per la revisione umana da parte dei dipendenti Microsoft autorizzati tramite workstation di accesso sicuro (WORKSTATION) con l'approvazione della richiesta JIT (Just-In-Time) concessa dai responsabili del team. Per le risorse del servizio OpenAI di Azure distribuite nell'Area economica europea, i dipendenti Microsoft autorizzati si trovano nell'Area economica europea. Questo processo di revisione umana non verrà eseguito se il cliente è stato approvato per il monitoraggio degli abusi modificati.
• Notifica e azione: quando una soglia di comportamento offensivo è stata confermata in base ai passaggi precedenti, il cliente viene informato della determinazione tramite posta elettronica. Ad eccezione dei casi di abuso grave o ricorrente, i clienti in genere hanno la possibilità di spiegare o correggere e implementare meccanismi per prevenire la ricorrenza del comportamento di abuso. L'impossibilità di risolvere il comportamento o l'abuso ricorrente o grave può comportare la sospensione o la chiusura dell'accesso del cliente alle risorse e/o alle funzionalità OpenAI di Azure.

Monitoraggio degli abusi modificati

Alcuni clienti potrebbero voler usare il servizio Azure OpenAI per un caso d'uso che implica l'elaborazione di dati altamente sensibili o altamente riservati oppure potrebbero concludere che non vogliono o non hanno il diritto di consentire a Microsoft di archiviare e condurre una revisione umana sulle richieste e sui completamenti per il rilevamento degli abusi. Per risolvere questi problemi, Microsoft consente ai clienti che soddisfano ulteriori criteri di idoneità per l'accesso limitato da applicare per modificare il monitoraggio degli abusi completando questo modulo. Altre informazioni sull'applicazione per il monitoraggio degli abusi modificati in Accesso limitato al servizio Azure OpenAI e sull'impatto del monitoraggio degli abusi modificati sull'elaborazione dei dati in Dati, privacy e sicurezza per il servizio OpenAI di Azure.

Passaggi successivi

• Altre informazioni sui modelli sottostanti che alimentano OpenAI di Azure.
• Altre informazioni sulla comprensione e la mitigazione dei rischi associati all'applicazione: Panoramica delle procedure di intelligenza artificiale responsabili per i modelli OpenAI di Azure.
• Ulteriori informazioni sull'elaborazione dei dati in relazione al filtraggio dei contenuti e al monitoraggio di abusi: Dati, privacy e sicurezza per il servizio OpenAI di Azure.