Partager via

Configuration et considérations pour ai_generate_text()

  • Article

Important

Cette fonctionnalité est disponible en préversion publique.

Avertissement

La fonction IA ai_generate_text() est déconseillée. Databricks recommande d’utiliser ai_query avec des modèles externes.

Cet article décrit les éléments à prendre en compte et les éléments à configurer avant de commencer à utiliser la fonction ai_generate_text(), notamment comment récupérer les informations d'authentification et les stocker en toute sécurité. Il inclut également des limitations de fonctionnalités et des considérations coût-performance.

Qu'est-ce que ai_generate_text() ?

La fonction ai_generate_text() est une fonction SQL Azure Databricks intégrée qui vous permet d'accéder à des modèles de langage étendus (LLM) directement à partir de SQL. Cette fonction prend actuellement en charge l'accès aux modèles OpenAI et Azure OpenAI et permet aux clients de les utiliser comme éléments de base dans les pipelines de données et les charges de travail d'apprentissage automatique. Pour connaître la syntaxe et les modèles de conception, consultez le contenu du manuel du langage de fonction ai_generate_text.

Les cas d'utilisation possibles de ai_generate_text() incluent la traduction, le résumé, les actions recommandées, l'identification d'un sujet ou d'un thème, et bien plus encore.

Voici quelques avantages de l’utilisation des LLM sur Azure Databricks :

  • Couche d’accès et de gestion unifiée sur les LLM open source et propriétaires.
  • Infrastructure LLM sans serveur, à mise à l'échelle automatique et intégrée aux données.
  • Simplicité du pointer-cliquer pour personnaliser les LLM en fonction des besoins de votre entreprise et de vos cas d'utilisation.
  • Pour les utilisateurs avancés, des outils pour le développement et la personnalisation rapides de LLM open source.

Spécifications

  • Inscription à la préversion publique des fonctions IA. Pour vous inscrire à la préversion publique, remplissez et soumettez le formulaire d'inscription à la préversion publique d'AI Functions.
  • Azure Databricks SQL Pro ou Serverless.
  • Comprenez que l'activation et l'utilisation de cette fonctionnalité incitent les données à quitter votre environnement SQL et à les transmettre à des fournisseurs de modèles LLM tiers : OpenAI et Azure OpenAI.
  • Vous avez accès à Azure OpenAI ou OpenAI.
  • Un modèle GPT 3.5 Turbo déployé.

Récupérer les détails d'authentification

Pour utiliser la fonction ai_generate_text(), vous devez pouvoir accéder à Azure OpenAI ou OpenAI.

Récupérez les détails d’authentification pour Azure OpenAI en procédant comme suit. Vos informations d'authentification remplissent les paramètres resourceName et deploymentName de ai_generate_text().

  1. Accédez à Cognitive Services sur le portail Azure et sélectionnez Azure OpenAI.
  2. Sélectionnez la ressource que vous souhaitez utiliser.
  3. Sélectionnez Clés et point de terminaison sous Gestion des ressources.
  4. Copiez votre clé et le nom de votre ressource.
  5. Sélectionnez Déploiements de modèles sous Gestion des ressources.
  6. Copiez le nom de votre modèle de déploiement.

Pour OpenAI, vous pouvez accéder à OpenAI et sélectionner des clés API pour créer votre clé.

Remarque

Vous ne pouvez pas copier les clés d'une configuration de clés existante.

Vous pouvez :

  • Récupérez la clé auprès de la personne, également appelée principal, qui a créé la configuration.
  • Créez une nouvelle clé et copiez la clé fournie lors de la création réussie.

Stocker les jetons d'accès

Important

N'incluez pas votre jeton en texte brut dans votre bloc-notes, votre code ou votre dépôt git.

Vous pouvez utiliser les secrets Azure Databricks pour conserver vos jetons API. Utilisez l’interface CLI Databricks ou l’API Secrets 2.0 pour créer vos secrets. Les étapes de l'exemple suivant utilisent la CLI Secrets :

  1. Si vous ne disposez pas déjà d’une portée secrète dans laquelle conserver vos clés OpenAI, créez-en une :

    databricks secrets create-scope openai

  2. Vous devez accorder des autorisations READ ou supérieures aux utilisateurs ou groupes autorisés à se connecter à OpenAI. Databricks recommande de créer un groupe openai-users et d'ajouter les utilisateurs autorisés à ce groupe.

    databricks secrets put-acl openai openai-users READ

  3. Créez un secret pour votre jeton d'accès API. Databricks recommande le format <resource-name>-key :

    databricks secrets put-secret openai demo-key --string-value yourkey123

Limites

  • ai_generate_text() n'est pas pris en charge dans les clusters interactifs ou de tâches.
  • Les seuls modèles pris en charge dans l'aperçu sont openai/gpt-3.5-turbo et azure_openai/gpt-35-turbo.
  • La limite de jetons pour openai/gpt-3.5-turbo et azure_openai/gpt-35-turbo est de 4 096 jetons.

Considérations relatives aux coûts et aux performances

  • OpenAI et Azure OpenAI Services nécessitent des souscriptions et sont facturés séparément d'Azure Databricks.
  • Au sein d'une requête donnée, les appels aux API LLM sont effectués séquentiellement pour la ou les colonnes sur lesquelles les fonctions sont appelées.
    • Par rapport à la plupart des fonctions SQL, les requêtes utilisées ai_generate_text() ont tendance à s'exécuter plus lentement.
  • Le temps de réponse d'une requête qui appelle AI Functions dépend à la fois de la tâche spécifiée dans l'invite et du nombre de jetons fournis et demandés.
  • Azure OpenAI Service n’est disponible que dans un petit nombre de régions Azure au moment de cette préversion.

Ressources supplémentaires

Consultez la documentation du manuel du langage pour connaître la syntaxe et les modèles de conception de la fonction ai_generate_text.

Voir Analyser les avis clients avec ai_generate_text() et OpenAI pour un exemple d'utilisation de ai_generate_text() dans un scénario commercial.