Condividi tramite

Configurazione e considerazioni per ai_generate_text()

  • Articolo

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Avviso

La funzione di IA ai_generate_text() è deprecata. Databricks consiglia di usare ai_query con modelli esterni.

Questo articolo descrive cosa considerare e cosa configurare prima di iniziare a usare la funzione ai_generate_text(), in particolare come recuperare le credenziali di autenticazione e archiviarle in modo sicuro. Include anche limitazioni delle funzionalità e considerazioni su costi e prestazioni.

Informazioniai_generate_text()

La funzione ai_generate_text() è una funzione SQL predefinita di Azure Databricks che consente di accedere a modelli di linguaggio di grandi dimensioni (LLM) direttamente da SQL. Questa funzione supporta attualmente l'accesso ai modelli OpenAI e Azure OpenAI e consente ai clienti di usarli come blocchi predefiniti nelle pipeline di dati e nei carichi di lavoro di Machine Learning. Per la sintassi e i modelli di progettazione, vedere il contenuto del manuale del linguaggio della funzione ai_generate_text.

Possibili casi d'uso per ai_generate_text() includono traduzione, riepilogo, azioni consigliate, identificazione di argomenti o temi e molto altro ancora.

Di seguito sono riportati alcuni vantaggi dell'uso di LLM in Azure Databricks:

  • Livello di gestione e accesso unificato tra LLM open source e proprietari.
  • Infrastruttura LLM serverless, a scalabilità automatica e integrata con i dati.
  • Semplicità punta e clicca per personalizzare gli LLM in base ai requisiti e ai casi d'uso aziendali.
  • Per gli utenti avanzati, strumenti per lo sviluppo rapido e la personalizzazione di LLM open source.

Requisiti

  • Iscrizione all'anteprima pubblica delle funzioni IA. Per iscriversi all'anteprima pubblica, compilare e inviare il Modulo di iscrizione all'anteprima pubblica delle funzioni IA.
  • Azure Databricks SQL Pro o serverless.
  • È da intendersi che l'abilitazione e l'uso di questa funzionalità indirizza i dati a lasciare l'ambiente SQL e a passare a provider di modelli LLM di terze parti: OpenAI e Azure OpenAI.
  • È possibile accedere ad Azure OpenAI o OpenAI.
  • Un modello GPT 3.5 Turbo distribuito.

Recuperare i dettagli di autenticazione

Per usare la funzione ai_generate_text() è necessario poter accedere ad Azure OpenAI o OpenAI.

Recuperare i dettagli di autenticazione per Azure OpenAI seguendo questa procedura. I dettagli di autenticazione popolano i parametri resourceName e deploymentName di ai_generate_text().

  1. Passare a Servizi cognitivi nel portale di Azure e selezionare Azure OpenAI.
  2. Selezionare la risorsa da usare.
  3. In Gestione risorse selezionare Chiavi ed endpoint.
  4. Copiare la chiave e il nome della risorsa.
  5. In Gestione risorse selezionare Distribuzione modello.
  6. Copiare il nome della distribuzione modello.

Per OpenAI, è possibile passare a OpenAI e selezionare Chiavi API per creare la chiave.

Nota

Non è possibile copiare le chiavi per una configurazione della chiave esistente.

È possibile:

  • Recuperare la chiave dalla persona, detta anche entità, che ha creato la configurazione.
  • Creare una nuova chiave e copiare la chiave fornita al termine della creazione.

Archiviare i token di accesso

Importante

Non includere il token in testo normale nel notebook, nel codice o nel repository Git.

È possibile usare i segreti di Azure Databricks per contenere i token API. Usare la CLI di Databricks o l'API Segreti 2.0 per creare i segreti. I passaggi nel seguente esempio usano la CLI dei segreti:

  1. Se non si ha già un ambito segreto in cui mantenere le chiavi OpenAI, crearne uno:

    databricks secrets create-scope openai

  2. È necessario concedere autorizzazioni di LETTURA o superiori a utenti o gruppi autorizzati a connettersi a OpenAI. Databricks consiglia di creare un gruppo openai-users e di aggiungervi utenti autorizzati.

    databricks secrets put-acl openai openai-users READ

  3. Creare un segreto per il token di accesso API. Databricks consiglia il formato <resource-name>-key:

    databricks secrets put-secret openai demo-key --string-value yourkey123

Limiti

  • ai_generate_text() non è supportato nei cluster interattivi o di processi.
  • Gli unici modelli supportati nell'anteprima sono openai/gpt-3.5-turbo e azure_openai/gpt-35-turbo.
  • Il limite di token per openai/gpt-3.5-turbo e azure_openai/gpt-35-turbo è 4.096 token.

Considerazioni su costi e prestazioni

  • I servizi OpenAI e Azure OpenAI richiedono sottoscrizioni e addebiti separatamente da Azure Databricks.
  • All'interno di una determinata query, le chiamate alle API LLM vengono eseguite in sequenza per le colonne in cui vengono chiamate le funzioni.
    • Rispetto alla maggior parte delle funzioni SQL, le query che usano ai_generate_text() tendono a essere eseguite più lentamente.
  • Il tempo di risposta di una query che richiama funzioni di IA dipende dall'attività specificata nella richiesta, nonché dal numero di token forniti e richiesti.
  • Il servizio OpenAI di Azure è disponibile solo in un numero ridotto di aree di Azure al momento di questa anteprima.

Risorse aggiuntive

Vedere la documentazione del manuale del linguaggio per la sintassi e i modelli di progettazione della funzione ai_generate_text.

Per un esempio su come usare ai_generate_text() in uno scenario aziendale, vedere Analizzare le recensioni dei clienti con ai_generate_text() e OpenAI.