Condividi tramite

Strumento LLM

  • Articolo

Lo strumento LLM (Large Language Model) nel flusso di richiesta consente di sfruttare i vantaggi di modelli linguistici di grandi dimensioni ampiamente usati, ad esempio OpenAI o il servizio OpenAI di Azure, o qualsiasi modello linguistico supportato dall'API di inferenza del modello di intelligenza artificiale di Azure per l'elaborazione del linguaggio naturale.

Il flusso dei prompt offre alcune API del modello linguistico di grandi dimensioni:

  • Completamento: i modelli di completamento di OpenAI generano testo in base alle richieste fornite.
  • Chat: i modelli di chat e i modelli di chat di Intelligenza artificiale di Azure facilitano conversazioni interattive con input e risposte basati su testo.

Nota

È stata rimossa l'opzione embedding dall'impostazione dell'API dello strumento LLM. È possibile usare un'API di incorporamento con lo strumento di incorporamento. Per la connessione OpenAI di Azure è supportata solo l'autenticazione basata su chiave. Non usare caratteri non ascii nel nome del gruppo di risorse della risorsa OpenAI di Azure, il flusso del prompt non supporta questo caso.

Prerequisiti

Creare risorse OpenAI:

Connessioni

Configurare le connessioni alle risorse di cui è stato effettuato il provisioning nel prompt flow.

Type Nome Chiave API Tipo di API Versione dell'API
OpenAI Richiesto Richiesto - -
Azure OpenAI - Chiave API Richiesto Obbligatorio Obbligatorio Richiesto
Azure OpenAI - Microsoft Entra ID Richiesto - - Richiesto
Modello serverless Richiesto Richiesto - -

Suggerimento

Input

Le sezioni seguenti illustrano vari input.

Completamento del testo

Nome Tipo Descrizione Richiesto
prompt string Richiesta di testo per il modello linguistico. Sì
model, deployment_name string Modello linguistico da usare. Sì
max_tokens integer Numero massimo di token da generare nel completamento. Il valore predefinito è 16. No
temperatura float Casualità del testo generato. Il valore predefinito è 1. No
stop list Sequenza di arresto per il testo generato. Il valore predefinito è Null. No
suffix string Testo aggiunto alla fine del completamento. No
top_p float Probabilità di usare la scelta principale dai token generati. Il valore predefinito è 1. No
logprobs integer Numero di probabilità di log da generare. Il valore predefinito è Null. No
echo boolean Valore che indica se eseguire l'eco del prompt nella risposta. Il valore predefinito è false. No
presence_penalty float Valore che controlla il comportamento del modello per le frasi ripetute. Il valore predefinito è 0. No
frequency_penalty float Valore che controlla il comportamento del modello per la generazione di frasi rare. Il valore predefinito è 0. No
best_of integer Numero di completamento migliori da generare. Il valore predefinito è 1. No
logit_bias dizionario Distorsione logit per il modello linguistico. Il valore predefinito è un dizionario vuoto. No

Chat

Nome Tipo Descrizione Richiesto
prompt string Richiesta di testo usata dal modello linguistico per una risposta. Sì
model, deployment_name string Modello linguistico da usare. Questo parametro non è obbligatorio se il modello viene distribuito in un endpoint API serverless. Sì*
max_tokens integer Numero massimo di token da generare nella risposta. Il valore predefinito è inf. No
temperatura float Casualità del testo generato. Il valore predefinito è 1. No
stop list Sequenza di arresto per il testo generato. Il valore predefinito è Null. No
top_p float Probabilità di usare la scelta principale dai token generati. Il valore predefinito è 1. No
presence_penalty float Valore che controlla il comportamento del modello per le frasi ripetute. Il valore predefinito è 0. No
frequency_penalty float Valore che controlla il comportamento del modello per la generazione di frasi rare. Il valore predefinito è 0. No
logit_bias dizionario Distorsione logit per il modello linguistico. Il valore predefinito è un dizionario vuoto. No

Output

API Tipo restituito Descrizione
Completion string Testo di un completamento stimato
Chat string Testo di una risposta di conversazione

Usare lo strumento LLM

  1. Configurare e selezionare le connessioni alle risorse OpenAI o a un endpoint API serverless.
  2. Configurare l'API del modello linguistico di grandi dimensioni e i relativi parametri.
  3. Preparare il prompt con indicazioni.