Partager via

Migrer des bibliothèques Spark d’Azure Synapse vers Fabric

  • Article

Le pool Azure Synapse Spark offre différentes options de flux et de bibliothèques personnalisées. Dans Fabric, chaque runtime est fourni avec un ensemble préinstallé de bibliothèques (bibliothèques intégrées). Toutefois, en fonction de vos scénarios et besoins spécifiques, vous pouvez également inclure d’autres bibliothèques à l’aide de bibliothèques d’environnement et de bibliothèques inline. Pour déplacer des bibliothèques de pool Azure Synapse Spark vers Fabric, utilisez des bibliothèques d’environnement.

Pour connaître les considérations relatives à la bibliothèque Spark, reportez-vous aux différences entre Azure Synapse Spark et Fabric.

Prérequis

Option 1 : Ajout de bibliothèques Spark à un environnement personnalisé

Vous pouvez déplacer des bibliothèques de pool Spark vers un environnement comme suit :

  1. Ouvrez Synapse Studio : connectez-vous à Azure. Naviguez vers votre espace de travail Azure Synapse et ouvrez Synapse Studio.
  2. Localiser des bibliothèques Spark :
    • Accédez à la zone Gérer, puis sélectionnez pools Apache Spark.
    • Trouvez le pool Apache Spark, sélectionnez Packages et localisez les bibliothèques Spark pour le pool.
  3. Obtenir des bibliothèques Spark : localisez les packages requirements.txt, environment.yml ou d’espace de travail installés dans le pool. Obtenez la liste des bibliothèques installées sur le pool.
  4. Une fois que vous avez des bibliothèques Spark, ajoutez des bibliothèques Spark personnalisées à un environnement dans Fabric. Dans votre environnement, accédez aux bibliothèques et ajoutez des bibliothèques :
    • À partir de Bibliothèques publiques, vous pouvez charger un fichier .yml. Vous pouvez également installer des bibliothèques à l’aide de PyPI et Conda.
    • À partir de Bibliothèques personnalisées, vous pouvez installer des bibliothèques à l’aide de fichiers .jar/.whl/.tar.gz.
  5. Cliquez sur Enregistrer et Publier les modifications.

Capture d'écran montrant les bibliothèques Spark.

En savoir plus sur l’ajout de bibliothèques Spark à un environnement.

Remarque

Notez que l’installation de la bibliothèque peut prendre un certain temps.

Contenu connexe