Interface CLI DBFS (héritée)

Vous exécutez les sous-commandes CLI Databricks DBFS en les ajoutant à databricks fs (ou à l’alias dbfs), en préfixant tous les chemins DBFS avec dbfs:/. Ces sous-commandes appellent l’API DBFS.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

Pour les opérations qui listent, déplacent ou suppriment plus de 10 000 fichiers, nous vous déconseillons fortement d’utiliser l’interface CLI DBFS.

• L’opération list (databricks fs ls) expire après environ 60 secondes.
• L’opération move (databricks fs mv) expire après environ 60 secondes, ce qui peut entraîner un déplacement partiel des données.
• L’opération delete (databricks fs rm) supprime de façon incrémentielle les lots de fichiers.

Nous vous recommandons d’effectuer ces opérations dans le contexte d’un cluster, à l’aide de l’utilitaire de système de fichiers (dbutils.fs). dbutils.fs couvre l’étendue fonctionnelle de l’API REST DBFS, mais à partir de notebooks. L’exécution de ces opérations à l’aide de notebooks offre un meilleur contrôle, comme des suppressions sélectives, la facilité de gestion et la possibilité d’automatiser les travaux périodiques.

Limites

L’utilisation de l’interface CLI DBFS Databricks avec des conteneurs de stockage avec pare-feu n’est pas prise en charge. Databricks vous recommande d’utiliser Databricks Connect ou az storage.

Lister le contenu d’un fichier

Pour afficher la documentation d’utilisation, exécutez databricks fs cat --help.

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Copier un fichier

Pour afficher la documentation d’utilisation, exécutez databricks fs cp --help.

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

En cas de réussite, cette commande n’affiche rien.

Lister les informations sur les fichiers et les répertoires

Pour afficher la documentation d’utilisation, exécutez databricks fs ls --help.

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Créer un répertoire

Pour afficher la documentation d’utilisation, exécutez databricks fs mkdirs --help.

databricks fs mkdirs dbfs:/tmp/new-dir

En cas de réussite, cette commande n’affiche rien.

Déplacer un fichier

Pour afficher la documentation d’utilisation, exécutez databricks fs mv --help.

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

En cas de réussite, cette commande n’affiche rien.

Supprimer un fichier

Pour afficher la documentation d’utilisation, exécutez databricks fs rm --help.

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.