Avanzare il livello di maturità per GenAIOps (Generative Artificial Intelligence Operations)
GenAIOps(Generative Artificial Intelligence Operations), talvolta denominato LLMOps, descrive le procedure operative e le strategie per la gestione di modelli di linguaggio di grandi dimensioni nell'ambiente di produzione. Questo articolo fornisce indicazioni su come migliorare le funzionalità di GenAIOps in base al livello di maturità corrente dell'organizzazione.
Usare le descrizioni seguenti per trovare il livello di classificazione del modello di maturità GenAIOps. Questi livelli forniscono una comprensione generale e un livello di applicazione pratico dell'organizzazione. Le linee guida forniscono collegamenti utili per espandere la knowledge base su GenAIOps.
Suggerimento
Usare la valutazione del modello di maturità GenAIOps per determinare il livello di maturità di GenAIOps corrente dell'organizzazione. Il questionario è progettato per aiutare a comprendere le funzionalità correnti dell'organizzazione e identificare le aree da migliorare.
I risultati della valutazione corrispondono a un livello di classificazione del modello di maturità GenAIOps, fornendo una comprensione generale e un livello di applicazione pratico dell'organizzazione. Queste linee guida forniscono collegamenti utili per espandere la knowledge base su GenAIOps.
Livello 1: iniziale
Suggerimento
Punteggio della valutazione del modello di maturità GenAIOps: iniziale (0-9).
Descrizione: l'organizzazione si trova nella fase iniziale della maturità GenAIOps. Si stanno esplorando le funzionalità delle VM, ma non sono ancora state sviluppate procedure strutturate o approcci sistematici.
Per iniziare, acquisire familiarità con diverse API LLM e le relative funzionalità. Iniziare quindi a sperimentare la progettazione strutturata delle richieste e la progettazione di base dei prompt. Vedere gli articoli di Microsoft Learning come punto di partenza. Dopo aver appreso queste nozioni, scoprire come introdurre le metriche di base per la valutazione delle prestazioni delle applicazioni LLM.
Riferimenti suggeriti per l'avanzamento al livello 1
- Catalogo dei modelli di Studio AI della piattaforma Azure
- Esplorare il catalogo modelli di Studio AI della piattaforma Azure
- Introduzione a Prompt Engineering
- Tecniche di Prompt Engineering
- System Message Framework
- Prompt flow in Studio AI della piattaforma Azure
- Valutare le applicazioni GenAI con Studio AI della piattaforma Azure
- Valutazione e monitoraggio di GenAI con Studio AI della piattaforma Azure
Per comprendere meglio GenAIOps, prendere in considerazione i corsi e i workshop di MS Learning disponibili.
- Concetti fondamentali di Microsoft Azure per intelligenza artificiale: GenAI
- Corso GenAI per principianti
Livello 2: definito
Suggerimento
Punteggio della valutazione del modello di maturità GenAIOps: maturità (10-14).
Descrizione: l'organizzazione ha iniziato a sistemare le operazioni LLM, con particolare attenzione allo sviluppo strutturato e alla sperimentazione. Tuttavia, c'è spazio per l'integrazione e l'ottimizzazione più sofisticate.
Per migliorare le funzionalità e le competenze, imparare a sviluppare richieste più complesse e iniziare a integrarle in modo efficace nelle applicazioni. Durante questo percorso, si vuole implementare un approccio sistematico per la distribuzione di applicazioni LLM, possibilmente esplorando l'integrazione CI/CD. Dopo aver compreso il nucleo, è possibile iniziare a usare metriche di valutazione più avanzate, come fondatezza, pertinenza e somiglianza. In definitiva, è consigliabile concentrarsi sulla sicurezza dei contenuti e sulle considerazioni etiche dell'utilizzo di LLM.
Riferimenti suggeriti per l'avanzamento al livello 2
- Seguire il workshop dettagliato per elevare le procedure GenAIOps
- Prompt flow in Studio AI della piattaforma Azure
- Come compilare con Prompt flow
- Distribuire un flusso come endpoint online gestito per l'inferenza in tempo reale
- Integrare Prompt flow con GenAIOps
- Valutazione GenAI con Studio AI della piattaforma Azure
- Metriche di valutazione e monitoraggio GenAI
- Azure Content Safety
- Strumenti e procedure di IA responsabili
Livello 3: gestito
Suggerimento
Punteggio della valutazione del modello di maturità GenAIOps: maturità (15-19).
Descrizione: l'organizzazione gestisce flussi di lavoro LLM avanzati con strategie di monitoraggio proattivo e distribuzione strutturata. Si è vicini al raggiungimento dell'eccellenza operativa.
Per espandere le conoscenze di base, concentrarsi sul miglioramento continuo e sull'innovazione nelle applicazioni LLM. Man mano che si procede, è possibile migliorare le strategie di monitoraggio con l'analisi predittiva e le misure complete di sicurezza dei contenuti. Informazioni su come ottimizzare e ottimizzare le applicazioni LLM per requisiti specifici. In definitiva, si vogliono rafforzare le strategie di gestione degli asset tramite funzionalità avanzate di controllo della versione e rollback.
Riferimenti suggeriti per l'avanzamento al livello 3
- Ottimizzazione con Azure ML Learning
- Personalizzazione dei modelli con ottimizzazione
- Monitoraggio del modello GenAI
- Elevare le app LLM alla produzione con GenAIOps
Livello 4: ottimizzato
Suggerimento
Punteggio della valutazione del modello di maturità GenAIOps: ottimizzato (20-28).
Descrizione: l'organizzazione dimostra l'eccellenza operativa in GenAIOps. Si ha un approccio sofisticato allo sviluppo, alla distribuzione e al monitoraggio delle applicazioni LLM.
Man mano che i LLM si evolvono, è consigliabile mantenere la posizione all'avanguardia rimanendo aggiornati con i progressi LLM più recenti. Valutare continuamente l'allineamento delle strategie LLM con obiettivi aziendali in evoluzione. Assicurarsi di promuovere una cultura dell'innovazione e dell'apprendimento continuo all'interno del team. Infine, ma non per importanza, condividere le proprie conoscenze e le procedure consigliate con la comunità per stabilire la propria leadership di pensiero nel campo.