Sviluppare un prompt flow

Prompt flow è uno strumento di sviluppo progettato per semplificare l'intero ciclo di sviluppo delle applicazioni di IA basate su Large Language Model (LLM). Prompt flow offre una soluzione completa che semplifica il processo di creazione di prototipi, la sperimentazione, l'iterazione e la distribuzione delle applicazioni di intelligenza artificiale.

Con prompt flow, è possibile:

• Orchestrare flussi eseguibili che collegano LLM, richieste e strumenti Python tramite un grafo visivo.
• Testare, eseguire il debug e scorrere i flussi con facilità.
• Creare varianti di richiesta e confrontarne le prestazioni.

Questo articolo illustra come creare e sviluppare il primo flusso di richieste nel portale di Azure AI Foundry.

Prerequisiti

• Se non si ha già un progetto Azure AI Foundry, creare prima di tutto un progetto.
• Il prompt flow richiede una sessione di calcolo. Se non si ha un runtime, è possibile crearne uno nel portale di Azure AI Foundry.
• È necessario un modello distribuito.

Creare e sviluppare il prompt flow

È possibile clonare gli esempi disponibili nella raccolta o creando il flusso da zero. Se sono già disponibili file di flusso in locale o in una condivisione file, è anche possibile importare i file per creare un flusso.

Per creare un flusso di prompt dalla raccolta nel portale di Azure AI Foundry:

1. Accedere ad Azure AI Foundry e selezionare il progetto.

2. Dal menu a scomparsa a sinistra selezionare Prompt flow.

3. Seleziona + Crea.

4. Nel riquadro Flusso standard, selezionare Crea.

5. Nella pagina Crea un nuovo flusso, immettere un nome di cartella e quindi selezionare Crea.

   

6. Verrà visualizzata la pagina di creazione del prompt flow. Selezionare Avvia sessione di calcolo per avere una sessione di calcolo in esecuzione per il flusso.

7. È ora possibile iniziare a creare il flusso. Per impostazione predefinita viene visualizzato un flusso di esempio. Questo flusso di esempio include nodi per gli strumenti LLM e Python.

   

   Nota

   Vista a grafo solo per la visualizzazione. Mostra la struttura del flusso che si sta sviluppando. Non è possibile modificare direttamente la vista a grafo, ma è possibile ingrandire, rimpicciolire e scorrere. È possibile selezionare un nodo nella vista a grafo per evidenziare e passare al nodo nella vista di modifica dello strumento.

8. Facoltativamente, è possibile aggiungere altri strumenti al flusso. Le opzioni dello strumento visibili sono LLM, Richiesta e Python. Per visualizzare altri strumenti, selezionare + Altri strumenti.

   

9. Selezionare una connessione e una distribuzione nell'editor degli strumenti LLM.

   

10. Nella sezione Input aggiungere un valore per l'argomento. Ad esempio, "atomi".

11. Selezionare Esegui per eseguire il flusso.

    

12. Lo stato di esecuzione del flusso viene visualizzato come In esecuzione.

    

13. Al termine dell'esecuzione del flusso, selezionare Visualizza output per visualizzare i risultati del flusso.

    

14. È possibile visualizzare lo stato e l'output dell'esecuzione del flusso nella sezione Output.

    

Creazione del flusso

Ogni flusso è rappresentato da una cartella che contiene un file "flow.dag.yaml", i file del codice sorgente e le cartelle di sistema. È possibile aggiungere nuovi file, nonché modificare ed eliminare quelli esistenti. È anche possibile esportare i file in file locali o importarli da locale.

Oltre a modificare inline il nodo nella visualizzazione predefinita, è anche possibile attivare l'interruttore Modalità file non elaborato e selezionare il nome del file per modificare il file nella scheda file di apertura.

Input e output del flusso

L'input del flusso è costituito dai dati passati nel flusso nel complesso. Definire lo schema di input specificando il nome e il tipo. Impostare il valore di ogni input per testare il flusso. È possibile fare riferimento all'input del flusso in un secondo momento nei nodi del flusso, usando la sintassi ${input.[input name]}.

L'output del flusso è costituito dai dati generati dal flusso nel complesso, che riepilogano i risultati dell'esecuzione del flusso. È possibile visualizzare ed esportare la tabella di output al termine dell'esecuzione del flusso o dell'esecuzione batch. Definire il valore di output del flusso facendo riferimento all'output del nodo singolo del flusso, usando la sintassi ${[node name].output} o ${[node name].output.[field name]}.

Collegare i nodi tra loro

Facendo riferimento all'output del nodo, è possibile collegare i nodi tra loro. Ad esempio, è possibile fare riferimento all'output del nodo LLM nell'input del nodo Python, in modo che il nodo Python possa utilizzare l'output del nodo LLM, quindi nella vista a grafo è possibile vedere che i due nodi sono collegati tra loro.

Abilitare il controllo condizionale per il flusso

Prompt flow offre non solo un modo semplificato per eseguire il flusso, ma anche una potente funzionalità per gli sviluppatori, ovvero il controllo condizionale, che consente agli utenti di impostare condizioni per l'esecuzione di qualsiasi nodo in un flusso.

Essenzialmente, il controllo condizionale offre la possibilità di associare ogni nodo in un flusso a una configurazione di attivazione. Questa configurazione è in pratica un'istruzione "when" che determina quando deve essere eseguito un nodo. L'efficacia di questa funzionalità si realizza con i flussi complessi in cui l'esecuzione di specifiche attività dipende dal risultato di quelle precedenti. Usando il controllo condizionale, è possibile configurare i nodi specifici da eseguire solo quando vengono soddisfatte le condizioni specificate.

In particolare, è possibile impostare la configurazione di attivazione per un nodo selezionando il pulsante Activate config nella scheda del nodo. È possibile aggiungere l'istruzione "when" e impostare la condizione. È possibile impostare le condizioni facendo riferimento all'input del flusso o all'output del nodo. Ad esempio, come valore specifico è possibile impostare la condizione ${input.[input name]} o ${[node name].output}.

Se la condizione non viene soddisfatta, il nodo viene ignorato. Lo stato del nodo viene visualizzato come "Bypassed".

Testare il flusso

È possibile testare il flusso in due modi:

• Eseguire un singolo nodo.

  • Per eseguire un singolo nodo, selezionare l'icona Esegui in un nodo nella visualizzazione predefinita. Al termine dell'esecuzione, è possibile controllare rapidamente il risultato nella sezione output del nodo.

  

• Eseguire l'intero flusso.

  • Per eseguire l'intero flusso, selezionare il pulsante Esegui in alto a destra.

Visualizzare i risultati del test e la traccia (anteprima)

Per l'esecuzione dell'intero flusso, dopo averlo eseguito, è possibile visualizzare lo stato di esecuzione nel banner di esecuzione. È quindi possibile selezionare Visualizza traccia per visualizzare la traccia, in modo da controllare il risultato e osservare l'esecuzione del flusso, in cui si possono visualizzare l'ingresso e l'uscita dell'intero flusso e di ogni nodo, oltre a informazioni più dettagliate per il debug. È disponibile durante l'esecuzione e al termine della stessa.

Informazioni sulla visualizzazione della traccia

Selezionare la scheda Traccia nella schermata Output per visualizzare un grafico che fornisce informazioni sulla durata e sul costo del token associato del flusso. Selezionare il flusso sotto il nome del nodo per visualizzare informazioni dettagliate sulla panoramica del flusso nel riquadro a destra.

Al termine dell'esecuzione del flusso, per controllare i risultati, è possibile selezionare il pulsante Visualizza risultati test per controllare tutti i record esecuzione storici in un elenco. Per impostazione predefinita, vengono visualizzati i record esecuzione creati negli ultimi 7 giorni. È possibile selezionare il filtro per modificare la condizione.

È anche possibile selezionare il nome del record esecuzione per visualizzare le informazioni dettagliate nella visualizzazione di traccia.

Sviluppare un flusso di chat

Il flusso di chat è progettato per lo sviluppo di applicazioni per conversazione, basandosi sulle funzionalità del flusso standard e fornendo supporto avanzato per gli input/output della chat e la gestione della cronologia della chat. Con il flusso di chat, è possibile creare facilmente un chatbot che gestisce l'input e l'output della chat.

Nella pagina di creazione il flusso di chat viene contrassegnato con un'etichetta "chat" per distinguerla dal flusso standard e dal flusso di valutazione. Per testare il flusso di chat, selezionare il pulsante "Chat" per attivare una casella per la conversazione.

Input/output e cronologia della chat

Gli elementi più importanti che differenziano un flusso di chat da un flusso standard sono l'input, la cronologiae l'output.

• Input: l'input della chat fa riferimento ai messaggi o alle query inviate dagli utenti al chatbot. Per il successo della conversazione, è essenziale gestire efficacemente l'input della chat, perché implica la comprensione delle intenzioni dell'utente, l'estrazione delle informazioni pertinenti e l'attivazione delle risposte appropriate.
• Cronologia: la cronologia della chat è la registrazione di tutte le interazioni tra l'utente e il chatbot e include sia gli input dell'utente sia gli output generati dall'IA. Mantenere la cronologia della chat è essenziale per tenere traccia del contesto della conversazione e assicurarsi che l'IA possa generare risposte contestualmente pertinenti.
• Output: l'output della chat fa riferimento ai messaggi generati dall'IA inviati all'utente in risposta agli input. La generazione di output di chat contestualmente appropriati e coinvolgenti è fondamentale per un'esperienza utente positiva.

Un flusso di chat può avere più input; la cronologia e l'input sono obbligatori nel flusso di chat.

• Nella sezione di input del flusso di chat, un input del flusso può essere contrassegnato come input di chat. È quindi possibile compilare il valore di input digitandolo nella casella di chat.

• Prompt flow può aiutare gli utenti a gestire la cronologia della chat. chat_history, nella sezione Input, serve per rappresentare la cronologia delle chat. Tutte le interazioni nella casella di chat, inclusi gli input utente, gli output generati e altri input e output del flusso, vengono archiviate automaticamente nella cronologia della chat. L'utente non può impostare manualmente il valore di chat_history nella sezione di input. È strutturato come un elenco di input e output:

  [
  {
      "inputs": {
      "<flow input 1>": "xxxxxxxxxxxxxxx",
      "<flow input 2>": "xxxxxxxxxxxxxxx",
      "<flow input N>""xxxxxxxxxxxxxxx"
      },
      "outputs": {
      "<flow output 1>": "xxxxxxxxxxxx",
      "<flow output 2>": "xxxxxxxxxxxxx",
      "<flow output M>": "xxxxxxxxxxxxx"
      }
  },
  {
      "inputs": {
      "<flow input 1>": "xxxxxxxxxxxxxxx",
      "<flow input 2>": "xxxxxxxxxxxxxxx",
      "<flow input N>""xxxxxxxxxxxxxxx"
      },
      "outputs": {
      "<flow output 1>": "xxxxxxxxxxxx",
      "<flow output 2>": "xxxxxxxxxxxxx",
      "<flow output M>": "xxxxxxxxxxxxx"
      }
  }
  ]
  

Creare una richiesta con la cronologia della chat

Incorporare la cronologia della chat nella richiesta è essenziale per creare risposte del chatbot contestuali e coinvolgenti. Nelle richieste, è possibile fare riferimento a chat_history per recuperare le interazioni passate. In questo modo è possibile fare riferimento a input e output precedenti per creare risposte contestualmente pertinenti.

Usare la grammatica for-loop del linguaggio Jinja per visualizzare un elenco di input e output da chat_history.

{% for item in chat_history %}
user:
{{item.inputs.question}}
assistant:
{{item.outputs.answer}}
{% endfor %}

Eseguire il test con la casella di chat

La casella di chat offre un modo interattivo per testare il flusso di chat simulando una conversazione con il chatbot. Per testare il flusso di chat usando la casella di chat, seguire questa procedura:

1. Selezionare il pulsante "Chat" per aprire la casella di chat.
2. Digitare gli input di test nella casella di chat e premere INVIO per inviarli al chatbot.
3. Esaminare le risposte del chatbot per assicurarsi che siano contestualmente appropriate e accurate.
4. Visualizzare la traccia sul posto per osservare e eseguire rapidamente il debug.

Passaggi successivi

• Inviare un'esecuzione in batch usando più dati e valutare le prestazioni del flusso
• Ottimizzare le richieste usando varianti
• Distribuire un flusso