fs grupo de comando

O fs grupo de comandos dentro da CLI do Databricks permite automatizar volumes no Unity Catalog e automatizar objetos do Sistema de Arquivos Databricks (DBFS).

Execute fs comandos anexando-os ao databricks fs. Para exibir a ajuda para o fs comando, execute databricks fs -h.

fs comandos exigem caminhos de volume para começar e dbfs:/Volumes exigem caminhos de diretório e arquivo no DBFS para começar com dbfs:/.

Listar o conteúdo de um diretório

Para listar o conteúdo de um diretório em um volume ou no DBFS, use o ls comando. Especifique o caminho para o diretório. Os exemplos a seguir listam os nomes dos objetos encontrados na raiz do volume especificado ou na raiz DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume
databricks fs ls dbfs:/

Para exibir informações completas, incluindo tipos de objetos, tamanhos, tempos de modificação desde a Época em milissegundos, bem como os nomes dos objetos, use a --long opção ou -l . Os exemplos a seguir listam as informações completas dos objetos encontrados na raiz do volume especificado ou em um tmp diretório dentro da raiz DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l
databricks fs ls dbfs:/tmp -l

Para exibir caminhos de objeto completos, use a --absolute opção. Os exemplos a seguir listam as informações completas dos objetos e os caminhos completos dos objetos, encontrados na raiz do volume especificado ou em um tmp diretório dentro da raiz DBFS:

databricks fs ls dbfs:/Volumes/main/default/my-volume -l --absolute
databricks fs ls dbfs:/tmp -l --absolute

Saída do conteúdo de um arquivo

Para gerar o conteúdo de um arquivo, use o cat comando. Especifique o caminho para o arquivo no DBFS. Os exemplos a seguir geram o conteúdo do arquivo nomeado babynames.csv encontrado na raiz do volume especificado ou em um tmp diretório dentro da raiz DBFS:

databricks fs cat dbfs:/Volumes/main/default/my-volume/babynames.csv
databricks fs cat dbfs:/tmp/babynames.csv

Os exemplos a seguir retornam erros, pois tentam gerar o conteúdo de um diretório em vez de um arquivo:

databricks fs cat dbfs:/Volumes/main/default/my-volume
databricks fs cat dbfs:/tmp

Criar um diretório

Para criar um diretório, use o mkdir comando. Especifique o caminho para o diretório a ser criado em um volume ou no DBFS. Se o diretório já existe, nada acontece. Os exemplos a seguir criam um diretório nomeado squirrel-data dentro da raiz do volume especificado ou em um diretório nomeado tmp dentro da raiz DBFS:

databricks fs mkdir dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs mkdir dbfs:/tmp/squirrel-data

Copiar um diretório ou um arquivo

Para copiar um diretório ou um arquivo, use o cp comando. Especifique os caminhos para o diretório ou arquivo de origem a ser copiado e seu destino. Você pode copiar diretórios e arquivos entre o sistema de arquivos local e o DBFS, e pode copiar diretórios e arquivos entre caminhos DBFS. Para substituir arquivos existentes, use a --overwrite opção. Para copiar arquivos recursivamente dentro de um diretório, use a --recursive opção ou -r .

O cp comando assume file:/, se file:/ for omitido.

Os exemplos a seguir copiam um diretório nomeado squirrel-data e seu conteúdo, de um caminho de sistema de arquivos local para um squirrels diretório dentro da raiz do volume especificado ou da raiz DBFS.

databricks fs cp /Users/<username>/squirrel-data dbfs:/Volumes/main/default/my-volume/squirrels -r
databricks fs cp /Users/<username>/squirrel-data dbfs:/squirrels -r

O exemplo a seguir copia um arquivo nomeado squirrels.csv de um caminho de sistema de arquivos local para um diretório nomeado squirrel-data dentro da raiz do volume especificado ou da raiz DBFS. Se o arquivo já existir no destino, ele será substituído.

databricks fs cp /Users/<username>/squirrels.csv dbfs:/Volumes/main/default/my-volume/squirrel-data --overwrite
databricks fs cp /Users/<username>/squirrels.csv dbfs:/squirrel-data --overwrite

Remover um diretório

Para remover um diretório, use o rm comando. Especifique o caminho para o diretório existente no DBFS. Os exemplos a seguir removem um diretório nomeado squirrel-data da raiz do volume especificado ou de um tmp diretório na raiz DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data
databricks fs rm dbfs:/tmp/squirrel-data

Se o diretório não existir, nada acontece e nenhum erro é retornado.

Se o diretório existir, mas não estiver vazio, um erro será retornado. Para remover um diretório não vazio e todo o seu conteúdo, use a --recursive opção ou -r . Os exemplos a seguir removem um diretório não vazio nomeado squirrel-data da raiz do volume especificado ou de um tmp diretório na raiz DBFS:

databricks fs rm dbfs:/Volumes/main/default/my-volume/squirrel-data -r
databricks fs rm dbfs:/tmp/squirrel-data -r