Condividi tramite

Usare endpoint API serverless da un progetto o un hub di Azure AI Foundry diverso

  • Articolo

Questo articolo illustra come configurare un endpoint API serverless esistente in un progetto o un hub diverso da quello usato per creare la distribuzione.

Importante

I modelli in anteprima vengono contrassegnati come anteprima nelle schede del modello nel catalogo dei modelli.

Alcuni modelli nel catalogo dei modelli possono essere distribuiti come API serverless. Questo tipo di distribuzione consente di utilizzare modelli come API senza ospitarli nella sottoscrizione, mantenendo al tempo stesso la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

La necessità di usare l'endpoint di un'API serverless in un progetto o hub diverso da quello usato per creare la distribuzione può verificarsi in situazioni come queste:

  • Si vuole centralizzare le distribuzioni in un determinato progetto o hub e usarle da progetti o hub diversi nell'organizzazione.
  • È necessario distribuire un modello in un hub in una determinata area di Azure in cui è disponibile la distribuzione serverless per tale modello. Tuttavia, è necessario usarlo da un'altra area, in cui la distribuzione serverless non è disponibile per i modelli specifici.

Prerequisiti

Creare una connessione all'endpoint dell'API serverless

Per creare una connessione, seguire questa procedura:

  1. Connettersi al progetto o all'hub in cui viene distribuito l'endpoint:

    Passare ad Azure AI Foundry e passare al progetto in cui viene distribuito l'endpoint a cui connettersi.

  2. Ottenere l'URL e le credenziali dell'endpoint a cui si vuole connettersi. In questo esempio, si ottengono i dettagli per un nome di endpoint meta-llama3-8b-qwerty.

    1. Dalla barra laterale sinistra del progetto nel portale di Azure AI Foundry passare a Modelli e endpoint personali>per visualizzare l'elenco delle distribuzioni nel progetto.

    2. Selezionare la distribuzione a cui connettersi.

    3. Copiare i valori per URI di destinazione e Chiave.

  3. Connettersi ora al progetto o all'hub in cui si vuole creare la connessione:

    Passare al progetto in cui deve essere creata la connessione.

  4. Creare la connessione nel progetto:

    1. Dal progetto nel portale di Azure AI Foundry passare alla parte inferiore della barra laterale sinistra e selezionare Centro gestione.

    2. Nella barra laterale sinistra del Centro di gestione selezionare Risorse connesse.

    3. Selezionare Nuova connessione.

    4. Selezionare Modello serverless.

    5. Per l'URI di destinazione, incollare il valore copiato in precedenza.

    6. Per il valore Chiave, incollare il valore copiato in precedenza.

    7. Assegnare un nome alla connessione, in questo caso meta-llama3-8b-connection.

    8. Selezionare Aggiungi connessione.

  5. A questo punto, la connessione è disponibile per l'uso.

  6. Per verificare che la connessione funzioni:

    1. Tornare al progetto nel portale di Azure AI Foundry.

    2. Dalla barra laterale sinistra del progetto passare a Compila e personalizzare>il flusso prompt.

    3. Selezionare Crea per creare un nuovo flusso.

    4. Selezionare Crea nella casella Flusso della chat.

    5. Assegnare al Prompt flow un nome e selezionare Crea.

    6. Selezionare il nodo chat dal grafo per passare alla sezione Chat.

    7. Per Connessione, aprire l'elenco a discesa per selezionare la connessione appena creata, in questo caso meta-llama3-8b-connection.

    8. Seleziona Avvia sessione di calcolo dalla barra di spostamento superiore per avviare un runtime automatico del prompt flow.

    9. Seleziona l'opzione Chat. È ora possibile inviare messaggi e ottenere risposte.

Contenuto correlato