Problème connu - Les instructions d'importation de PySpark échouent pour les fichiers .jar installés par l'environnement
Vous pouvez télécharger un fichier bibliothèque personnalisé au format .jar dans un environnement Fabric. Bien que le téléchargement et la publication de l'environnement réussissent, la commande d'importation échoue dans la session PySpark.
État : Corrigé : 7 novembre 2024
Expérience produit : Ingénieurs de données
Symptômes
Dans une session PySpark, l’instruction d'importation de bibliothèque échoue avec une erreur Class not found (classe introuvable). La bibliothèque personnalisée au format .jar a été installée dans un environnement.
Solutions et méthodes de contournement
Pour contourner ce problème, vous pouvez utiliser la commande suivante pour installer la bibliothèque dans la session Notebook : %%configure -f { "conf": { "spark.jars": <>", } } Vous pouvez également passer d'une session PySpark à une session Scala, le cas échéant.