Usare i file in Azure Databricks

Azure Databricks include più utilità e API per interagire con i file nei percorsi seguenti:

• Volumi del catalogo Unity
• File di area di lavoro
• Archiviazione di oggetti cloud
• Montaggi DBFS e radice DBFS
• Archiviazione temporanea collegata al nodo driver del cluster

Questo articolo include esempi per l'interazione con i file in queste posizioni per gli strumenti seguenti:

• Apache Spark
• Spark SQL e Databricks SQL
• Utilità del file system di Databricks (dbutils.fs o %fs)
• Databricks CLI
• API REST di Databricks
• Shell di comandi Bash (%sh)
• Installazioni della libreria con ambito notebook tramite %pip
• pandas
• Utilità di elaborazione e gestione dei file del software open source Python

È necessario fornire uno schema URI per accedere ai dati?

I percorsi di accesso ai dati in Azure Databricks seguono uno degli standard seguenti:

• I percorsi in stile URI includono uno schema URI. Per le soluzioni di accesso ai dati native di Databricks, gli schemi URI sono facoltativi per la maggior parte dei casi d'uso. Quando si accede direttamente ai dati nell'archiviazione di oggetti cloud, è necessario specificare lo schema URI corretto per il tipo di archiviazione.

  

• I percorsi in stile POSIX forniscono l'accesso ai dati relativi alla radice del driver (/). I percorsi in stile POSIX non richiedono mai uno schema. È possibile usare volumi del catalogo Unity o montaggi DBFS per fornire l'accesso in stile POSIX ai dati nell'archiviazione di oggetti cloud. Molti framework ML e altri moduli Python OSS richiedono FUSE e possono usare solo percorsi in stile POSIX.

  

Operare con file nei volumi del catalogo Unity

Databricks raccomanda di usare i volumi del catalogo Unity per configurare l'accesso ai dati non tabulari archiviati nell'archiviazione cloud. Vedere Che cosa sono i volumi del catalogo Unity?.

Limitazioni dei volumi

I volumi presentano le limitazioni seguenti:

• Le scritture direct-append o non sequenziali (casuali), ad esempio la scrittura di file ZIP ed Excel non sono supportate. Per i carichi di lavoro direct-append o random-write, eseguire prima le operazioni su un disco locale e quindi copiare i risultati nei volumi del catalogo Unity. Ad esempio:

  # python
  import xlsxwriter
  from shutil import copyfile
  
  workbook = xlsxwriter.Workbook('/local_disk0/tmp/excel.xlsx')
  worksheet = workbook.add_worksheet()
  worksheet.write(0, 0, "Key")
  worksheet.write(0, 1, "Value")
  workbook.close()
  
  copyfile('/local_disk0/tmp/excel.xlsx', '/Volumes/my_catalog/my_schema/my_volume/excel.xlsx')
  

• I file sparse non sono supportati. Per copiare i file sparse, usare cp --sparse=never:

  $ cp sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
  error writing '/dbfs/sparse.file': Operation not supported
  $ cp --sparse=never sparse.file /Volumes/my_catalog/my_schema/my_volume/sparse.file
  

Lavorare con file delle aree di lavoro

I file dell'area di lavoro di Databricks sono i file in un'area di lavoro che non sono notebook. È possibile usare i file dell'area di lavoro per archiviare e accedere ai dati e ad altri file salvati insieme ai notebook e ad altri asset dell'area di lavoro. Poiché i file dell'area di lavoro hanno restrizioni sulle dimensioni, Databricks consiglia di archiviare solo file di dati di piccole dimensioni principalmente per sviluppo e test.

Per le limitazioni relative all'uso dei file dell'area di lavoro, vedere Limitazioni.

Dove finiscono i file dell'area di lavoro eliminati?

L'eliminazione di un file dell'area di lavoro ne comporta l’invio al cestino. È possibile recuperare o eliminare definitivamente i file nel cestino usando l'interfaccia utente.

Vedere Eliminare un oggetto.

Usare i file nell'archiviazione di oggetti cloud

Databricks raccomanda di usare i volumi del catalogo Unity per configurare l'accesso sicuro ai files nell'archiviazione cloud. È necessario configurare le autorizzazioni se si sceglie di accedere direttamente ai dati nell'archiviazione oggetti cloud usando gli URI. Si veda Gestire percorsi esterni, tabelle esterne e volumi esterni.

Gli esempi seguenti usano gli URI per accedere ai dati nell'archiviazione di oggetti cloud:

Usare i file nei montaggi DBFS e nella radice DBFS

I montaggi DBFS non sono a protezione diretta usando il catalogo Unity e non sono più consigliati da Databricks. I dati archiviati nella radice DBFS sono accessibili da tutti gli utenti nell'area di lavoro. Databricks consiglia di archiviare codice o dati sensibili o di produzione nella radice DBFS. Vedere Che cos'è DBFS?.

Usare i file nella risorsa di archiviazione temporanea collegata al nodo driver

L'archiviazione temporanea collegata al nodo driver è l'archiviazione a blocchi con l'accesso al percorso basato su POSIX predefinito. Tutti i dati archiviati in questa posizione scompaiono quando un cluster termina o si riavvia.

Spostare i dati dall'archiviazione temporanea ai volumi

È possibile accedere ai dati scaricati o salvati in un archivio temporaneo usando Apache Spark. Poiché l'archiviazione temporanea è collegata al driver e Spark è un motore di elaborazione distribuito, non tutte le operazioni possono accedere direttamente ai dati in questa posizione. Si supponga di dover spostare i dati dal file system del driver ai volumi del catalogo Unity. In tal caso, è possibile copiare file usando comandi magic o le utilità di Databricks, come negli esempi seguenti:

dbutils.fs.cp ("file:/<path>", "/Volumes/<catalog>/<schema>/<volume>/<path>")

%sh cp /<path> /Volumes/<catalog>/<schema>/<volume>/<path>

%fs cp file:/<path> /Volumes/<catalog>/<schema>/<volume>/<path>

Risorse aggiuntive

Per informazioni sul caricamento di file locali o sul download di file Internet in Azure Databricks, vedere Caricare file in Azure Databricks.