Utiliser dbx pour synchroniser en temps réel des fichiers locaux avec des espaces de travail distants

Vous pouvez procéder à une synchronisation en temps réel des modifications apportées aux fichiers sur votre ordinateur de développement local avec leurs fichiers correspondants dans vos espaces de travail Azure Databricks à l’aide de dbx by Databricks Labs. Ces fichiers d’espace de travail peuvent se trouver dans DBFS ou dans Dossiers Git Databricks.

La synchronisation en temps réel de fichiers avec dbx (également appelée dbx sync) est particulièrement utile dans les scénarios de développement rapide de code. Par exemple, vous pouvez utiliser un environnement de développement intégré (IDE) local pour les fonctionnalités de productivité telles que la coloration syntaxique, la complétion de code intelligente, le linting de code, ainsi que les tests et le débogage. Vous pouvez alors accéder immédiatement à votre espace de travail et exécuter votre code mis à jour.

Vous pouvez utiliser dbx sync seul, avec des travaux automatisés ou avec un IDE.

Workflows de développement dbx sync

Deux workflows de développement sont disponibles pour dbx sync, l’un avec DBFS et l’autre avec Dossiers Git Databricks.

Le workflow de développement classique avec dbx sync et DBFS est le suivant :

1. Identifiez un répertoire local contenant les fichiers que vous souhaitez synchroniser avec DBFS.
2. Identifiez le chemin DBFS avec lequel vous souhaitez que votre répertoire local se synchronise (ou laissez dbx sync créer un chemin DBFS par défaut pour vous).
3. Exécutez dbx sync dbfs pour synchroniser votre répertoire local avec le chemin DBFS. dbx sync commence à surveiller votre répertoire local pour détecter toute modification de fichier.
4. Si nécessaire, apportez des modifications aux fichiers de votre répertoire local. dbx sync applique en temps réel ces modifications aux fichiers correspondants dans le chemin DBFS.

Le workflow de développement classique avec dbx sync et Dossiers Git Databricks est le suivant :

1. Créez un référentiel avec un fournisseur Git pris en charge par Dossiers Git Databricks si vous n’avez pas encore de référentiel disponible.
2. Clonez votre référentiel dans votre espace de travail Azure Databricks.
3. Clonez votre référentiel sur votre ordinateur de développement local.
4. Exécutez dbx sync repo pour associer votre référentiel cloné local à votre référentiel cloné de l’espace de travail. dbx sync commence à surveiller votre répertoire local pour détecter toute modification de fichier.
5. Si nécessaire, apportez des modifications aux fichiers de votre référentiel cloné local. dbx sync applique en temps réel ces modifications aux fichiers correspondants dans Dossiers Git Databricks.
6. Transférez régulièrement les fichiers mis à jour du référentiel cloné entre votre espace de travail et votre fournisseur Git, afin que le référentiel reste à jour par rapport à votre fournisseur Git.

Spécifications

Si vous souhaitez utiliser dbx sync avec Dossiers Git Databricks, votre espace de travail Azure Databricks doit est conforme à ce qui suit :

• Un clone de votre référentiel avec votre fournisseur Git peut être créé, même si ce n’est pas une obligation.

Sur votre ordinateur de développement local, les éléments suivants installés :

• Python version 3.8 ou ultérieure. Pour vérifier si Python est installé, et identifier la version installée, exécutez python --version à partir de votre terminal ou de PowerShell.

  python --version
  

  Notes

  Certaines installations peuvent python nécessiter que vous utilisiez python3 au lieu de python. Dans ce cas, remplacez python par python3 tout au long de cet article.

• pip. Pour vérifier si pip est installé et identifier la version de pip que vous avez installée, exécutez pip --version ou python -m pip --version.

  pip --version
  
  # Or...
  
  python -m pip --version
  

  Notes

  Certaines installations peuvent pip nécessiter que vous utilisiez pip3 au lieu de pip. Dans ce cas, remplacez pip par pip3 tout au long de cet article.

• Version dbx 0.8.0 ou ultérieure. Pour vérifier si dbx est installé, et identifier la version de dbx que vous avez installée, exécutez dbx --version. Pour installer dbx via PyPI (Python Package Index), exécutez pip install dbx ou python -m pip install dbx. (dbx inclut dbx sync.)

  # Check whether dbx is installed, and check its version.
  dbx --version
  
  # Install dbx.
  pip install dbx
  
  # Or...
  python -m pip install dbx
  

  Notes

  Pour plus d’informations sur dbx, consultez dbx by Databricks Labs et la documentation dbx.

• L’interface CLI Databricks version 0.18 ou antérieure, configurée avec l’authentification. L’interface CLI Databricks héritée (Databricks CLI version 0.17) est automatiquement installée lorsque vous installez dbx. Cette authentification peut être configurée sur votre ordinateur de développement local dans un des deux emplacements suivants (ou les deux) :

  • Dans les variables d’environnement DATABRICKS_HOST et DATABRICKS_TOKEN (à partir de l’l’interface CLI Databricks héritée version 0.8.0).
  • Dans un profil de configuration Azure Databricks de votre fichier .databrickscfg.

  dbx recherche les informations d’identification d’authentification dans ces deux emplacements, respectivement. dbx utilise uniquement le premier ensemble d’informations d’identification correspondantes qu’il trouve.

  Notes

  Si vous utilisez un fichier .databrickscfg, dbx sync recherche dans ce fichier un profil de configuration nommé DEFAULT par défaut. Pour spécifier un autre profil, utilisez l’option --profile au moment de l’exécution de la commande dbx sync, plus loin dans cet article.

  dbx ne prend pas en charge l’utilisation d’un fichier .netrc pour l’authentification.

• Si vous souhaitez utiliser dbx sync avec Dossiers Git Databricks, un clone local de votre référentiel avec votre fournisseur Git peut être créé, même si ce n’est pas une obligation. Pour créer un clone local, consultez la documentation de votre fournisseur Git.

Utiliser DBFS avec dbx sync

1. À partir du terminal ou de PowerShell sur votre ordinateur de développement local, accédez au répertoire qui contient les fichiers que vous souhaitez synchroniser avec DBFS dans votre espace de travail Azure Databricks.

2. Exécutez la commande dbx sync pour synchroniser votre répertoire local avec DBFS dans votre espace de travail, comme suit. (N’oubliez pas le point (.) à la fin. Celui-ci représente votre répertoire actuel.)

   dbx sync dbfs --source .
   

   Conseil

   Pour spécifier un autre répertoire source, remplacez le point (.) par un autre chemin.

   Notes

   Si l’erreur Error: No such command 'sync' s’affiche, votre installation de dbx est probablement obsolète. Pour résoudre ce problème, exécutez pip install --upgrade dbx==<version> ou python -m pip install --upgrade dbx==version, où <version> désigne la dernière version de dbx. Ce numéro de version se trouve sur la page web PyPI de dbx.

   pip install --upgrade dbx==<version>
   
   # Or...
   python -m pip install --upgrade dbx==version
   

3. dbx sync commence à synchroniser les fichiers de votre répertoire local actuel avec les fichiers du chemin DBFS suivant de votre espace de travail. dbx sync confirme en imprimant Target base path suivi du chemin DBFS, par exemple :

   /tmp/users/<your-Databricks-username>/<local-directory-name>
   

   Conseil

   Pour spécifier un autre nom d’utilisateur ou un autre chemin DBFS, spécifiez respectivement les options --user et --dest lorsque vous exécutez dbx sync.

4. Si nécessaire, apportez des modifications à vos fichiers locaux.

   Important

   Vous devez laisser votre terminal ou PowerShell ouvert pour permettre à dbx sync de poursuivre la synchronisation. Si vous fermez votre terminal ou PowerShell, dbx sync cesse de surveiller les modifications de fichiers et arrête la synchronisation. Pour reprendre la synchronisation des modifications de fichiers, reprenez cette procédure du début.

5. Si nécessaire, vérifiez vos modifications de fichiers dans le chemin DBFS précédent de votre espace de travail.

Utiliser Dossiers Git Databricks avec dbx sync

1. À partir du terminal ou de PowerShell sur votre ordinateur de développement local, accédez au répertoire racine qui contient le clone du référentiel avec votre fournisseur Git.

2. Dans votre espace de travail Azure Databricks, identifiez le nom du dossier Git Databricks avec lequel vous souhaitez synchroniser votre référentiel cloné local. Vous pouvez trouver le nom de ce référentiel en cliquant sur Dossiers Git dans la barre latérale de votre espace de travail.

3. Sur votre ordinateur de développement local, exécutez la commande dbx sync pour synchroniser votre référentiel cloné local avec les référentiels Databricks de votre espace de travail comme suit, en remplaçant <your-repo-name> par le nom de votre référentiel dans Dossiers Git Databricks. (N’oubliez pas le point (.) à la fin. Celui-ci représente votre répertoire actuel.)

   dbx sync repo -d <your-repo-name> --source .
   

   Conseil

   Pour spécifier un autre répertoire source, remplacez le point (.) par un autre chemin.

   Notes

   Si l’erreur Error: No such command 'sync' s’affiche, votre installation de dbx est probablement obsolète. Pour résoudre ce problème, exécutez pip install --upgrade dbx==<version> ou python -m pip install --upgrade dbx==version, où <version> désigne la dernière version de dbx. Ce numéro de version se trouve sur la page web PyPI de dbx.

   pip install --upgrade dbx==<version>
   
   # Or...
   python -m pip install --upgrade dbx==version
   

4. dbx sync commence à synchroniser les fichiers de votre référentiel cloné local avec les dossiers Git Databricks de votre espace de travail. dbx sync confirme en imprimant Target base path suivi du chemin Dossiers Git Databricks, par exemple :

   /Repos/<your-Databricks-username>/<your-repo-name>
   

   Conseil

   Pour spécifier un autre nom d’utilisateur ou un autre nom de référentiel, spécifiez respectivement les options --user et --dest-repo lorsque vous exécutez dbx sync.

5. Si nécessaire, apportez des modifications à vos fichiers locaux.

   Important

   Vous devez laisser votre terminal ou PowerShell ouvert pour permettre à dbx sync de poursuivre la synchronisation. Si vous fermez votre terminal ou PowerShell, dbx sync cesse de surveiller les modifications de fichiers et arrête la synchronisation. Pour reprendre la synchronisation des modifications de fichiers, reprenez cette procédure du début.

6. Si nécessaire, vérifiez vos modifications de fichiers dans Dossiers Git Databricks dans votre espace de travail.

Ressources supplémentaires

• dbx documentation
• Documentation dbx sync
• Référentiel databrickslabs/dbx sur GitHub
• Limitations de dbx