Distribuire modelli come endpoint API serverless

Questo articolo illustra come distribuire un modello dal catalogo modelli come API serverless con fatturazione basata su token con pagamento in base al consumo.

Alcuni modelli nel catalogo modelli possono essere distribuiti come API serverless con la fatturazione di pagamenti in base al consumo. Questo tipo di distribuzione consente di usare i modelli come le API senza ospitarli nella sottoscrizione, mantenendo al contempo la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

Questo articolo utilizza la distribuzione di un modello Meta Llama a scopo illustrativo. Tuttavia, è possibile usare gli stessi passaggi per distribuire uno dei modelli nel catalogo dei modelli disponibili per la distribuzione dell'API serverless.

Prerequisiti

• Una sottoscrizione di Azure con un metodo di pagamento valido. Le sottoscrizioni di Azure gratuite o di valutazione non funzioneranno. Se non si dispone di una sottoscrizione di Azure, è possibile creare un account Azure gratuito per iniziare.

• Un'area di lavoro di Azure Machine Learning.

• I controlli degli accessi in base al ruolo di Azure vengono usati per concedere l'accesso alle operazioni in Azure Machine Learning. Per eseguire la procedura descritta in questo articolo, all'account utente deve essere assegnato il ruolo di sviluppatore di Azure per intelligenza artificiale nel gruppo di risorse. Per ulteriori informazioni sulle autorizzazioni, vedere Controllo degli accessi in base al ruolo in Azure Machine Learning.

• Per usare Azure Machine Learning, è necessario installare il software seguente:

  • Studio
  • Interfaccia della riga di comando di Azure
  • Python SDK
  • ARM

  È possibile usare qualsiasi Web browser compatibile per esplorare Azure Machine Learning.

Trovare il modello e l'ID modello nel catalogo dei modelli

1. Accedere ad Azure Machine Learning Studio

2. Per i modelli offerti tramite Azure Marketplace, assicurarsi che l'account disponga delle autorizzazioni del ruolo Sviluppatore di Azure per intelligenza artificiale per il gruppo di risorse o che si disponga delle autorizzazioni necessarie per la sottoscrizione alle offerte del modello.

   I modelli offerti da provider non Microsoft (ad esempio, modelli Llama e Mistral) vengono fatturati tramite Azure Marketplace. Per questi modelli, è necessario sottoscrivere l'area di lavoro all'offerta di modello specifica. I modelli offerti da Microsoft (ad esempio, i modelli Phi-3) non hanno questo requisito, perché la fatturazione viene eseguita in modo diverso. Per informazioni dettagliate sulla fatturazione per la distribuzione serverless dei modelli nel catalogo modelli, vedere Fatturazione per le API serverless.

3. Passa all'area di lavoro. Per usare l'offerta di distribuzione modello API serverless, l'area di lavoro deve appartenere a una delle aree supportate per la distribuzione serverless per il modello specifico da distribuire.

4. Selezionare Catalogo modelli nella barra laterale sinistra e trovare la scheda modello del modello che si vuole distribuire. In questo articolo, si selezionerà un modello Meta-Llama-3-8B-Instruct.

   1. Se si sta distribuendo il modello usando l'interfaccia della riga di comando di Azure, Python SDK o ARM, copiare l'ID modello.

   Importante

   Nella copia dell'ID modello, non includere la versione. Gli endpoint API serverless distribuiscono sempre la versione più recente del modello disponibile. Ad esempio, per l'ID modello azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, copiare azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

La sezione successiva illustra i passaggi per la sottoscrizione dell'area di lavoro a un'offerta di modello. È possibile ignorare questa sezione e passare a Distribuire il modello a un endpoint API serverless, se si distribuisce un modello Microsoft.

Sottoscrivere l'area di lavoro all'offerta del modello

Gli endpoint API serverless possono distribuire modelli Microsoft e non Microsoft offerti. Per i modelli Microsoft (ad esempio i modelli Phi-3), non è necessario creare una sottoscrizione di Azure Marketplace ed è possibile distribuirli direttamente in endpoint API serverless per utilizzare le loro stime. Per i modelli non Microsoft, è prima necessario creare la sottoscrizione. Se si sta distribuendo il modello nell'area di lavoro per la prima volta, sarà necessario sottoscrivere l'area di lavoro all'offerta di modello specifica da Azure Marketplace. Ogni spazio di lavoro ha una propria sottoscrizione all'offerta del modello di Azure Marketplace, che consente di controllare e monitorare le spese.

1. Creare la sottoscrizione al marketplace del modello. Creando una sottoscrizione, si accettano i termini e le condizioni associati all'offerta del modello. Tenere presente che non è necessario eseguire questo passaggio per i modelli offerti da Microsoft (ad esempio Phi-3).

   • Studio
   • Interfaccia della riga di comando di Azure
   • Python SDK
   • ARM

   1. Nella pagina Dettagli del modello, selezionare Distribuisci. Viene visualizzata la finestra Opzioni di distribuzione, che consente di scegliere tra la distribuzione dell'API serverless e la distribuzione mediante un ambiente di calcolo gestito.

      Nota

      Per i modelli che possono essere distribuiti solo tramite la distribuzione di API serverless, la distribuzione guidata API serverless viene aperta subito dopo aver selezionato Distribuisci nella pagina dei dettagli del modello.

   2. Selezionare API serverless con Sicurezza dei contenuti di Azure AI (anteprima) per aprire la procedura guidata di distribuzione API.

   3. Selezionare la casella di controllo per accettare i criteri di acquisto Microsoft.

      

   4. Se viene visualizzata la nota Si dispone già di una sottoscrizione di Azure Marketplace per questa area di lavoro, non è necessario creare la sottoscrizione perché ne è già disponibile una. È possibile proseguire a Distribuire il modello in un endpoint API serverless.

   5. Nella distribuzione guidata selezionare il collegamento a Condizioni di Azure Marketplace per altre informazioni sulle condizioni per l'utilizzo. È anche possibile selezionare la scheda Prezzi e termini per informazioni sui prezzi per il modello selezionato.

   6. Nella distribuzione guidata selezionare il collegamento a Condizioni di Azure Marketplace per altre informazioni sulle condizioni per l'utilizzo. È anche possibile selezionare la scheda Dettagli sull'offerta in Marketplace per informazioni sui prezzi per il modello selezionato.

   7. Selezionare Sottoscrivi e distribuisci.

2. Dopo la sottoscrizione dell’area di lavoro a una determinata offerta di Azure Marketplace, le distribuzioni successive della stessa offerta nello stesso progetto non richiedono una nuova sottoscrizione.

3. È possibile visualizzare in qualsiasi momento le offerte del modello a cui l'area di lavoro è attualmente sottoscritta:

   • Studio
   • Interfaccia della riga di comando di Azure
   • Python SDK
   • ARM

   1. Accedere al portale di Azure

   2. Passare al gruppo di risorse a cui appartiene l'area di lavoro.

   3. Nel filtro Tipo, selezionare SaaS.

   4. Verranno visualizzate tutte le offerte a cui si è attualmente sottoscritti.

   5. Selezionare una risorsa per visualizzarne i dettagli.

Distribuire il modello in un endpoint API serverless

Dopo aver creato una sottoscrizione a un modello non Microsoft, è possibile distribuire il modello associato a un endpoint API serverless. Per i modelli Microsoft (ad esempio, i modelli Phi-3), non è necessario creare una sottoscrizione.

L'endpoint API serverless consente di utilizzare modelli come API senza ospitarli nella sottoscrizione, mantenendo al tempo stesso la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

In questa sezione, viene creato un endpoint con il nome meta-llama3-8b-qwerty.

1. Creare l'endpoint serverless

   • Studio
   • Interfaccia della riga di comando di Azure
   • Python SDK
   • ARM

   1. Per distribuire un modello Microsoft che non richiede la sottoscrizione a un'offerta di modello, selezionare Distribuisci, quindi selezionare API serverless con Sicurezza dei contenuti di Azure AI (anteprima) per aprire la procedura guidata di distribuzione.

   2. In alternativa, per un modello non Microsoft che richiede una sottoscrizione di modello, se l'area di lavoro è stata appena sottoscritta all'offerta di modello nella sezione precedente, continuare a selezionare Distribuisci. In alternativa, selezionare Continua a distribuire (se la distribuzione guidata ha già la nota Hai già una sottoscrizione di Azure Marketplace per questa area di lavoro).

      

   3. Assegnare un nome alla distribuzione. Questo nome diventa parte dell'URL dell'API di distribuzione. Questo URL deve essere univoco in ogni area di Azure.

      

      Suggerimento

      L'opzione Filtro contenuto (anteprima) è abilitata per impostazione predefinita. Lasciare l'impostazione predefinita per il servizio per rilevare contenuti dannosi che esprimono ad esempio odio e autolesionismo, nonché contenuti sessuali e violenti. Per altre informazioni sul filtro del contenuto (anteprima), vedere Sicurezza del contenuto per i modelli distribuiti tramite API serverless.

   4. Seleziona Distribuisci. Attendere che la distribuzione sia pronta e che si venga reindirizzati alla pagina Distribuzioni.

2. È possibile visualizzare gli endpoint distribuiti nell'area di lavoro in qualsiasi momento:

   • Studio
   • Interfaccia della riga di comando di Azure
   • Python SDK
   • ARM

   1. Passa all'area di lavoro.

   2. Seleziona Endpoint.

   3. Selezionare la scheda Endpoint serverless per visualizzare gli endpoint API serverless.

3. L'endpoint creato usa l'autenticazione con chiave per l'autorizzazione. Usare la procedura seguente per ottenere le chiavi associate a un determinato endpoint.

   • Studio
   • Interfaccia della riga di comando di Azure
   • Python SDK
   • ARM

   1. Per tornare alla pagina della distribuzione, selezionare il nome dell'endpoint dall'elenco di endpoint serverless.
   2. Prendere nota dell'URI di destinazione e della Chiave dell’endpoint. Usarli per chiamare la distribuzione e generare stime.

   Nota

   Quando si usa il portale di Azure, gli endpoint API serverless non vengono visualizzati per impostazione predefinita nel gruppo di risorse. Usare l'opzione Mostra tipi nascosti per visualizzarli nel gruppo di risorse.

4. A questo punto, l'endpoint è pronto per l’uso.

5. Se si ha bisogno di utilizzare questa distribuzione da un'altra area di lavoro o si prevede di usare il flusso prompt per creare applicazioni intelligenti, è necessario creare una connessione alla distribuzione dell'API serverless. Per informazioni su come configurare un endpoint API serverless esistente in una nuova area di lavoro o hub, vedere Utilizzare endpoint API serverless distribuiti da un'altra area di lavoro o dal Prompt flow.

   Suggerimento

   Se si usa il prompt flow nella stessa area di lavoro in cui è stata distribuita la distribuzione, sarà comunque necessario creare la connessione.

Usare l'endpoint API serverless

I modelli distribuiti in Azure Machine Learning e Studio AI della piattaforma Azure in endpoint API serverless supportano l'API di inferenza del modello di intelligenza artificiale di Azure, che presenta un set comune di funzionalità per i modelli di base e che può essere usata dagli sviluppatori per utilizzare stime da un set diversificato di modelli in modo uniforme e coerente.

Ulteriori informazioni sulle funzionalità di questa API e su come utilizzarla durante la compilazione di applicazioni.

Eliminare endpoint e sottoscrizioni

È possibile eliminare sottoscrizioni ed endpoint del modello. L'eliminazione di una sottoscrizione modello rende qualsiasi endpoint associato Non integro e inutilizzabile.

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

client.serverless_endpoints.begin_delete(endpoint_name).wait()

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

az resource delete --name <resource-name>

Considerazioni su costi e quote per i modelli distribuiti come endpoint API serverless

La quota viene gestita per distribuzione. Ogni distribuzione ha un limite di frequenza di 200.000 token al minuto e 1.000 richieste API al minuto. Tuttavia, c’è attualmente un limite di una distribuzione per ogni modello per ogni area di lavoro. Contattare il supporto tecnico di Microsoft Azure se i limiti di frequenza correnti non sono sufficienti per gli scenari in uso.

Costo per i modelli Microsoft

È possibile trovare le informazioni sui prezzi nella scheda Prezzi e condizioni della procedura guidata della distribuzione durante la distribuzione dei modelli Microsoft (ad esempio, i modelli Phi-3) come endpoint API serverless.

Costo per i modelli non Microsoft

I modelli non Microsoft distribuiti come endpoint API serverless vengono offerti tramite Azure Marketplace e integrati con Studio AI della piattaforma Azure per l'uso. È possibile trovare i prezzi di Azure Marketplace durante la distribuzione o l'ottimizzazione di questi modelli.

Ogni volta che un’area di lavoro sottoscrive a una determinata offerta di Azure Marketplace, viene creata una nuova risorsa per tenere traccia dei costi associati al consumo. La stessa risorsa viene usata per tenere traccia dei costi associati all'inferenza e all'ottimizzazione; tuttavia, sono disponibili più contatori per tenere traccia di ogni scenario in modo indipendente.

Per altre informazioni su come tenere traccia dei costi, vedere Monitorare i costi per i modelli offerti tramite Azure Marketplace.

Autorizzazioni necessarie per la sottoscrizione a offerte di modello

I controlli degli accessi in base al ruolo di Azure vengono usati per concedere l'accesso alle operazioni in Azure Machine Learning. Per eseguire la procedura descritta in questo articolo, è necessario che all'account utente sia assegnato il ruolo di Proprietario, Collaboratore o Sviluppatore di intelligenza artificiale di Azure per la sottoscrizione di Azure. In alternativa, all'account può essere assegnato un ruolo personalizzato con le autorizzazioni seguenti:

• Nella sottoscrizione di Azure, per sottoscrivere l'area di lavoro all'offerta di Azure Marketplace, una volta per ogni area di lavoro, per offerta:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• Nel gruppo di risorse, per creare e usare la risorsa SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• Nell'area di lavoro, per distribuire gli endpoint (il ruolo data scientist di Azure Machine Learning contiene già queste autorizzazioni):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Per altre informazioni sulle autorizzazioni, vedere Gestire l'accesso a un'area di lavoro di Azure Machine Learning.

Contenuto correlato

• Raccolte e catalogo modelli
• Utilizzare endpoint API serverless distribuiti da un'altra area di lavoro