Utilitaire de bibliothèque (dbutils.library) (hérité)

Pour obtenir une documentation complète sur les fonctionnalités des utilitaires Databricks, consultez la référence des utilitaires Databricks (dbutils).

Commandes : install, installPyPI, list, restartPython), updateCondaEnv

L'utilitaire de bibliothèque vous permet d'installer des bibliothèques Python et de créer un environnement adapté à une session de notebook. Les bibliothèques sont disponibles sur le pilote et sur les exécuteurs, ce qui vous permet de les référencer dans les fonctions définies par l’utilisateur. Vous pouvez ainsi :

• Dépendances de bibliothèque d’un bloc-notes à organiser dans le bloc-notes.
• Utilisateurs du Notebook avec différentes dépendances de bibliothèque pour partager un cluster sans interférence.

Le détachement d’un bloc-notes détruit cet environnement. Toutefois, vous pouvez le recréer en réexécutant les commandes de l’API de bibliothèque install dans le bloc-notes. Consultez l' API restartPython pour savoir comment réinitialiser l’état de votre Notebook sans perdre votre environnement.

Les utilitaires de bibliothèque sont activés par défaut. Par conséquent, par défaut, l'environnement Python de chaque notebook est isolé en utilisant un exécutable Python distinct qui est créé lorsque le notebook est rattaché au cluster et hérite de l'environnement Python par défaut. Les bibliothèques installées par un script init dans l'environnement Python d'Azure Databricks sont toujours disponibles. Vous pouvez désactiver cette fonctionnalité en affectant spark.databricks.libraryIsolation.enabled à false.

Cette API est compatible avec l’installation existante de la bibliothèque à l’ensemble du cluster par le biais de l’interface utilisateur et de l’API Bibliothèques. Les bibliothèques installées par le biais de cette API ont une priorité plus élevée que les bibliothèques à l’ensemble du cluster.

Pour répertorier les commandes disponibles, exécutez dbutils.library.help().

install(path: String): boolean -> Install the library within the current notebook session
installPyPI(pypiPackage: String, version: String = "", repo: String = "", extras: String = ""): boolean -> Install the PyPI library within the current notebook session
list: List -> List the isolated libraries added for the current notebook session via dbutils
restartPython: void -> Restart python process for the current notebook session
updateCondaEnv(envYmlContent: String): boolean -> Update the current notebook's Conda environment based on the specification (content of environment

Commande install (dbutils.library.install)

À partir d’un chemin d’accès à une bibliothèque, installe cette bibliothèque dans la session du bloc-notes active. Les bibliothèques installées en appelant cette commande sont uniquement disponibles pour le bloc-notes actuel.

Pour afficher l’aide de cette commande, exécutez dbutils.library.help("install").

Cet exemple installe une bibliothèque .egg ou .whl dans un bloc-notes.

Les sources de bibliothèque acceptées sont dbfs , abfss, adl , et wasbs.

dbutils.library.install("abfss:/path/to/your/library.egg")
dbutils.library.restartPython() # Removes Python state, but some libraries might not work without calling this command.

dbutils.library.install("abfss:/path/to/your/library.whl")
dbutils.library.restartPython() # Removes Python state, but some libraries might not work without calling this command.

%pip install /dbfs/path/to/your/library.whl

# This step is only needed if no %pip commands have been run yet.
# It will trigger setting up the isolated notebook environment
%pip install <any-lib>  # This doesn't need to be a real library; for example "%pip install any-lib" would work

import sys
# Assuming the preceding step was completed, the following command
# adds the egg file to the current notebook environment
sys.path.append("/local/path/to/library.egg")

Commande installPyPI (dbutils.library.installPyPI)

À partir d’un package d’index de package Python (PyPI), installez ce package dans la session du bloc-notes active. Les bibliothèques installées en appelant cette commande sont isolées parmi les blocs-notes.

Pour afficher l’aide de cette commande, exécutez dbutils.library.help("installPyPI").

Cet exemple installe un package PyPI dans un bloc-notes. version, repo et extras sont facultatifs. Utilisez l'argument extras pour spécifier la Fonctionnalité Extras (exigences supplémentaires).

dbutils.library.installPyPI("pypipackage", version="version", repo="repo", extras="extras")
dbutils.library.restartPython()  # Removes Python state, but some libraries might not work without calling this command.

dbutils.library.installPyPI("azureml-sdk", version="1.19.0", extras="databricks")
dbutils.library.restartPython()  # Removes Python state, but some libraries might not work without calling this command.

%pip install azureml-sdk[databricks]==1.19.0

Cet exemple spécifie les spécifications de bibliothèque dans un bloc-notes et les installe à l’aide de %run dans l’autre. Pour ce faire, commencez par définir les bibliothèques à installer dans un Notebook. Cet exemple utilise un bloc-notes nommé InstallDependencies.

dbutils.library.installPyPI("torch")
dbutils.library.installPyPI("scikit-learn", version="1.19.1")
dbutils.library.installPyPI("azureml-sdk", extras="databricks")
dbutils.library.restartPython() # Removes Python state, but some libraries might not work without calling this command.

Ensuite, installez-les dans le bloc-notes qui a besoin de ces dépendances.

%run /path/to/InstallDependencies # Install the dependencies in the first cell.

import torch
from sklearn.linear_model import LinearRegression
import azureml
...

Cet exemple réinitialise l’état du Notebook python tout en conservant l’environnement. Cette technique est disponible uniquement dans les blocs-notes Python. Par exemple, vous pouvez utiliser cette technique pour recharger des bibliothèques Azure Databricks préinstallé avec une version différente :

dbutils.library.installPyPI("numpy", version="1.15.4")
dbutils.library.restartPython()

# Make sure you start using the library in another cell.
import numpy

Vous pouvez également utiliser cette technique pour installer des bibliothèques, telles que tensorflow, qui doivent être chargées au démarrage du processus :

dbutils.library.installPyPI("tensorflow")
dbutils.library.restartPython()

# Use the library in another cell.
import tensorflow

Commande list (dbutils.library.list)

Répertorie les bibliothèques isolées ajoutées pour la session actuelle du bloc-notes par le biais de l’utilitaire de bibliothèque. Cela n’inclut pas les bibliothèques attachées au cluster.

Pour afficher l’aide de cette commande, exécutez dbutils.library.help("list").

Cet exemple répertorie les bibliothèques installées dans un bloc-notes.

dbutils.library.list()

%pip freeze

Commande updateCondaEnv (dbutils.library.updateCondaEnv)

Met à jour l’environnement Conda du bloc-notes actuel en fonction du contenu de environment.yml. Cette méthode est prise en charge uniquement pour les Databricks Runtime sur Conda.

Pour afficher l’aide de cette commande, exécutez dbutils.library.help("updateCondaEnv").

Cet exemple met à jour l’environnement Conda du bloc-notes actuel en fonction du contenu de la spécification fournie.

dbutils.library.updateCondaEnv(
"""
channels:
  - anaconda
dependencies:
  - gensim=3.4
  - nltk=3.4
""")