Monitorare la qualità del modello e l'integrità degli endpoint
Mosaic AI Model Serving offre strumenti avanzati per il monitoraggio della qualità e dell'integrità dei modelli e delle relative distribuzioni. L'table seguente è una panoramica di ogni strumento di monitoraggio disponibile.
| Strumento | Descrizione | Scopo | Accesso |
|---|---|---|---|
| Log del servizio | Acquisisce e stdout trasmette flussi stderr dall'endpoint di gestione del modello. |
Utile per il debug durante la distribuzione del modello. Usare print(..., flush=true) per visualizzare immediatamente i log. |
Accessibile tramite la scheda Log nell'interfaccia utente di servizio. I log vengono trasmessi in tempo reale e possono essere esportati tramite l'API. |
| Log di compilazione | Visualizza l'output del processo che crea automaticamente un ambiente Python pronto per la produzione per l'endpoint di gestione del modello. | Utile per la diagnosi dei problemi di distribuzione e dipendenza del modello. | Disponibile al completamento del modello che gestisce la compilazione in Log di compilazione nella scheda Log . I log possono essere esportati tramite l'API. |
| Metriche di integrità degli endpoint | Fornisce informazioni dettagliate sulle metriche dell'infrastruttura, ad esempio latenza, frequenza delle richieste, frequenza di errore, utilizzo della CPU e utilizzo della memoria. | Importante per comprendere le prestazioni e l'integrità dell'infrastruttura di servizio. | Disponibile per impostazione predefinita nell'interfaccia utente Di servizio per gli ultimi 14 giorni. I dati possono anche essere trasmessi agli strumenti di osservabilità in tempo reale. |
| inferenza tables | Registra automaticamente le richieste di previsione online e le risposte in Delta tables gestito da Unity Catalog. | Usare questo strumento per il monitoraggio e il debug della qualità o delle risposte del modello, la generazione di set di dati di training o l'esecuzione di controlli di conformità. | Può essere abilitato per gli endpoint esistenti e nuovi di gestione dei modelli usando un solo clic nell'interfaccia utente o nell'API. |