Inventario BLOB di Archiviazione di Azure

L'inventario BLOB di Archiviazione di Azure fornisce un elenco di contenitori, BLOB, versioni BLOB e snapshot nell'account di archiviazione, insieme alle relative proprietà associate. Genera un report di output in formato con valori delimitati da virgole (CSV) o Apache Parquet su base giornaliera o settimanale. È possibile usare il report per controllare la conservazione, il blocco a fini giudiziari o lo stato di crittografia dei contenuti dell'account di archiviazione oppure per conoscere le dimensioni totali dei dati, l'età, la distribuzione su livelli o altri attributi dei dati. È anche possibile usare l'inventario BLOB per semplificare i flussi di lavoro aziendali o velocizzare i processi di elaborazione dei dati, usando l'inventario BLOB come automazione pianificata delle API Elenca contenitori ed Elencare BLOB. Le regole dell'inventario BLOB consentono di filtrare i contenuti del report in base al tipo di BLOB, al prefisso o selezionando le proprietà del BLOB da includere nel report.

L'inventario BLOB di Archiviazione di Azure è disponibile per i tipi di account di archiviazione seguenti:

• Utilizzo generico v2 Standard
• Archiviazione BLOB in blocchi Premium
• Archiviazione BLOB

Funzionalità dell'inventario

L'elenco seguente descrive le caratteristiche e le funzionalità disponibili nella versione corrente dell'inventario BLOB di Archiviazione di Azure.

• Report di inventario per BLOB e contenitori

  È possibile generare report di inventario per BLOB e contenitori. Un report per BLOB può contenere BLOB di base, snapshot, lunghezza del contenuto, versioni del BLOB e relative proprietà associate, ad esempio ora di creazione, ora dell'ultima modifica. I contenitori vuoti non sono elencati nel report dell'inventario BLOB. Un report per contenitori descrive i contenitori e le relative proprietà associate, ad esempio lo stato dei criteri di immutabilità, lo stato di blocco ai fini giudiziari.

• Schema personalizzato

  È possibile scegliere i campi visualizzati nei report. Scegliere da un elenco di campi supportati. Questo elenco viene visualizzato più avanti in questo articolo.

• Formato di output CSV e Apache Parquet

  È possibile generare un report di inventario in formato di output CSV o Apache Parquet.

• File manifesto ed evento di Griglia di eventi di Azure per ogni report di inventario

  Per ogni report di inventario viene generato un file manifesto e un evento di Griglia di eventi di Azure. Questi verranno descritti più avanti in questo articolo.

Abilitazione dei report di inventario

Abilitare i report dell'inventario BLOB aggiungendo un criterio con una o più regole all'account di archiviazione. Per indicazioni, vedere Abilitare i report dell'inventario BLOB di Archiviazione di Azure.

Aggiornamento di un criterio dell'inventario

Se l'utente di un inventario BLOB di Archiviazione di Azure esistente ha configurato l'inventario prima di giugno 2021, può iniziare a usare le nuove funzionalità caricando i criteri e quindi salvandoli nuovamente dopo aver apportato le modifiche. Quando si ricarica il criterio, i nuovi campi nel criterio vengono popolati con valori predefiniti. È possibile cambiare questi valori se lo si desidera. Saranno inoltre disponibili le due funzionalità seguenti.

• Un contenitore di destinazione è ora supportato per ogni regola invece di essere supportato solo per i criteri.

• Un file manifesto e un evento di Griglia di eventi di Azure vengono ora generati per ogni regola anziché per ogni criterio.

Criteri dell'inventario

Il report di inventario viene configurato aggiungendo un criterio dell'inventario con una o più regole. Un criterio dell'inventario è una raccolta di regole in un documento JSON.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  }]
}

Visualizzare il codice JSON per un criterio dell'inventario selezionando la scheda Visualizzazione Codice nella sezione Inventario BLOB del portale di Azure.

Regole dell'inventario

Una regola acquisisce le condizioni di filtro e i parametri di output per la generazione di un report dell'inventario. Ogni regola crea un report di inventario. Le regole possono avere prefissi sovrapposti. Un BLOB può essere visualizzato in più inventari a seconda delle definizioni della regola.

Ogni regola all'interno del criterio presenta vari parametri:

Il flag globale Inventario BLOB abilitato ha la precedenza sul parametro enabled in una regola.

Definizione della regola

Filtri della regola

Per personalizzare un report di inventario BLOB sono disponibili diversi filtri:

Visualizzare il codice JSON per le regole dell'inventario selezionando la scheda Visualizzazione Codice nella sezione Inventario BLOB del portale di Azure. I filtri vengono specificati in una definizione della regola.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true,
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Campi dello schema personalizzati supportati per l'inventario BLOB

Campo	Archiviazione BLOB (supporto predefinito)	Data Lake Storage
Name (obbligatorio)
Creation-Time
Last-Modified
LastAccessTime1
ETag
Content-Length
Content-Type
Content-Encoding
Content-Language
Content-CRC64
Content-MD5
Cache-Control
Cache-Disposition
BlobType
AccessTier
AccessTierChangeTime
LeaseStatus
LeaseState
ServerEncrypted
CustomerProvidedKeySHA256
Metadati UFX
Expiry-Time
hdi_isfolder
Proprietario
Raggruppa
Autorizzazioni
Acl
Snapshot (disponibile e obbligatorio quando si sceglie di includere gli snapshot nel report)
Eliminata
DeletedId
DeletedTime
RemainingRetentionDays
VersionId (disponibile e obbligatorio quando si sceglie di includere le versioni dei BLOB nel report)
IsCurrentVersion (disponibile e obbligatorio quando si sceglie di includere le versioni dei BLOB nel report)
TagCount
Tag
CopyId
CopySource
CopyStatus
CopyProgress
CopyCompletionTime
CopyStatusDescription
ImmutabilityPolicyUntilDate
ImmutabilityPolicyMode
LegalHold
RehydratePriority
ArchiveStatus
EncryptionScope
IncrementalCopy
x-ms-blob-sequence-number

¹ Disattivato per impostazione predefinita. Abilitare facoltativamente il rilevamento dell'ora dell'ultimo accesso.

Campi dello schema personalizzati supportati per l'inventario contenitore

Campo	Archiviazione BLOB (supporto predefinito)	Data Lake Storage
Name (obbligatorio)
Last-Modified
ETag
LeaseStatus
LeaseState
LeaseDuration
Metadati UFX
PublicAccess
DefaultEncryptionScope
DenyEncryptionScopeOverride
HasImmutabilityPolicy
HasLegalHold
ImmutableStorageWithVersioningEnabled
Deleted (viene visualizzato solo se è selezionato Includi contenitori eliminati)
Version (viene visualizzato solo se è selezionato Includi contenitori eliminati)
DeletedTime (viene visualizzato solo se è selezionato Includi contenitori eliminati)
RemainingRetentionDays (viene visualizzato solo se è selezionato Includi contenitori eliminati)

Esecuzione dell'inventario

Se si configura l'esecuzione giornaliera di una regola, l'esecuzione verrà pianificata per essere eseguita ogni giorno. Se si configura l'esecuzione settimanale di una regola, l'esecuzione verrà pianificata per essere eseguita ogni settimana, la domenica, all'ora UTC.

La maggior parte delle esecuzioni di inventario viene completata entro 24 ore. Per gli account abilitati per gli spazi dei nomi gerarchici, un'esecuzione può richiedere fino a due giorni e, a seconda del numero di file da elaborare, l'esecuzione potrebbe non essere completata entro i due giorni. La quantità massima di tempo per il completamento di un'esecuzione prima che questa si blocchi è di sei giorni.

Le esecuzioni non si sovrappongono, pertanto è necessario che un'esecuzione sia stata completata prima che possa iniziarne un'altra della stessa regola. Ad esempio, se per una regola è pianificata l'esecuzione giornaliera, ma l'esecuzione della stessa regola del giorno precedente è ancora in corso, quel giorno non verrà avviata una nuova esecuzione. Le regole per cui è stata pianificata l'esecuzione settimanale verranno eseguite ogni domenica indipendentemente dal fatto che l'esecuzione precedente abbia avuto esito positivo o negativo. Se un'esecuzione non viene completata correttamente, controllare che le esecuzioni successive vengano completate prima di contattare il supporto. Le prestazioni di un'esecuzione possono variare, quindi se un'esecuzione non viene completata, è possibile che le esecuzioni successive vengano completate.

I criteri di inventario vengono letti o scritti in modo completo. Gli aggiornamenti parziali non sono supportati. Le regole di inventario vengono valutate ogni giorno. Pertanto, se si modifica la definizione di una regola, ma le regole di un criterio sono già state valutate per quel giorno, gli aggiornamenti non verranno valutati fino al giorno successivo.

Evento di inventario completato

L'evento BlobInventoryPolicyCompleted viene generato al termine dell'esecuzione dell'inventario per una regola. Questo evento viene generato anche se l'esecuzione dell'inventario ha esito negativo e viene visualizzato un errore utente prima dell'avvio dell'esecuzione. Ad esempio, un criterio non valido o un errore che si verifica quando un contenitore di destinazione non è presente attiverà l'evento. Il codice JSON seguente mostra un esempio di evento BlobInventoryPolicyCompleted.

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

Nella tabella seguente viene descritto lo schema dell'evento BlobInventoryPolicyCompleted.

Output dell'inventario

Ogni regola di inventario genera un set di file nel contenitore di destinazione dell'inventario specificato per tale regola. L'output dell'inventario viene generato nel percorso seguente: https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName dove:

• accountName è il nome dell'account di Archiviazione BLOB di Azure.
• inventory-destination-container è il contenitore di destinazione specificato nella regola di inventario.
• AAAA/MM/GG/HH-MM-SS è l'ora in cui è iniziata l'esecuzione dell'inventario.
• ruleName è il nome della regola di inventario.

File di inventario

Ogni esecuzione dell'inventario per una regola genera i file seguenti:

• File di inventario: l'esecuzione di un inventario per una regola genera un file in formato CSV o Apache Parquet. Ogni file contiene oggetti corrispondenti e i relativi metadati.

  Importante

  A partire da ottobre 2023, le esecuzioni di inventario produrranno più file se il numero di oggetti è elevato. Per altre informazioni, vedere Domande frequenti sull'output di più file di inventario.

  I report nel formato Apache Parquet presentano le date nel formato seguente: timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. Per un file in formato CSV, la prima riga è sempre la riga dello schema. L'immagine seguente mostra un file CSV di inventario aperto in Microsoft Excel.

  

  Importante

  I percorsi BLOB visualizzati in un file di inventario potrebbero non essere visualizzati in un ordine specifico.

• File di checksum: un file di checksum contiene il checksum MD5 del contenuto del file manifest.json. Il nome del file di checksum è <ruleName>-manifest.checksum. La generazione del file di checksum segna il completamento dell'esecuzione di una regola di inventario.

• File manifesto: un file manifest.json contiene i dettagli dei file di inventario generati per tale regola. Il nome del file è <ruleName>-manifest.json. Questo file acquisisce anche la definizione della regola fornita dall'utente e il percorso dell'inventario per tale regola. Il codice JSON seguente mostra il contenuto di un file manifest.json di esempio.

  {
  "destinationContainer" : "inventory-destination-container",
  "endpoint" : "https://testaccount.blob.core.windows.net",
  "files" : [
    {
      "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
      "size" : 12710092
    }
  ],
  "inventoryCompletionTime" : "2021-05-26T13:35:56Z",
  "inventoryStartTime" : "2021-05-26T13:25:36Z",
  "ruleDefinition" : {
    "filters" : {
      "blobTypes" : [ "blockBlob" ],
      "includeBlobVersions" : false,
      "includeSnapshots" : false,
      "prefixMatch" : [ "penner-test-container-100003" ]
    },
    "format" : "csv",
    "objectType" : "blob",
    "schedule" : "daily",
    "schemaFields" : [
      "Name",
      "Creation-Time",
      "BlobType",
      "Content-Length",
      "LastAccessTime",
      "Last-Modified",
      "Metadata",
      "AccessTier"
    ]
  },
  "ruleName" : "Rule_1",
  "status" : "Succeeded",
  "summary" : {
    "objectCount" : 110000,
    "totalObjectSize" : 23789775
  },
  "version" : "1.0"
  }
  

  Questo file viene creato all'avvio dell'esecuzione. Il campo status di questo file è impostato su Pending fino al completamento dell'esecuzione. Al termine dell'esecuzione, questo campo viene impostato su uno stato di completamento, ad esempio Succeeded o Failed.

Determinazione dei prezzi e fatturazione

I prezzi per l'inventario si basano sul numero di BLOB e contenitori analizzati durante il periodo di fatturazione. La pagina Prezzi di Archiviazione BLOB di Azure mostra il prezzo per un milione di oggetti analizzati. Ad esempio, se il prezzo per analizzare un milione di oggetti è $0.003, l'account contiene tre milioni di oggetti e si producono quattro report in un mese, la fattura sarà 4 * 3 * $0.003 = $0.036.

Dopo aver creato i file di inventario, verranno addebitati costi aggiuntivi standard di operazioni e archiviazione di dati per l'archiviazione, la lettura e la scrittura dei file generati dall'inventario nell'account.

Se una regola contiene un prefisso che si sovrappone a un prefisso di un'altra regola, lo stesso BLOB può essere visualizzato in più report di inventario. In questo caso, vengono addebitati i costi per entrambi. Si supponga, ad esempio, che l'elemento prefixMatch di una regola sia impostato su ["inventory-blob-1", "inventory-blob-2"] e che l'elemento prefixMatch di un'altra regola sia impostato su ["inventory-blob-10", "inventory-blob-20"]. Un oggetto denominato inventory-blob-200 viene visualizzato in entrambi i report di inventario.

Anche gli snapshot e le versioni di un BLOB vengono considerati per la fatturazione anche se i filtri includeSnapshots e includeVersions sono stati impostati su false. Questi valori di filtro non influiscono sulla fatturazione. È possibile usarli solo per filtrare ciò che viene visualizzato nel report.

Per altre informazioni sui prezzi per l'inventario BLOB di Archiviazione di Azure, vedere Prezzi di Archiviazione BLOB di Azure.

Supporto funzionalità

Il supporto di questa funzionalità potrebbe essere influenzato dall'abilitazione dei protocolli Data Lake Storage Gen2, NFS (Network File System) 3.0 o SFTP (SSH File Transfer Protocol). Se è stata abilitata una di queste funzionalità, vedere Supporto delle funzionalità di Archiviazione BLOB negli account di Archiviazione di Azure per valutare il supporto per questa funzionalità.

Problemi noti e limitazioni

Questa sezione descrive le limitazioni e i problemi noti della funzionalità di inventario BLOB di Archiviazione di Azure.

Il numero di oggetti del report di inventario e le dimensioni dei dati non devono essere confrontati con la fatturazione

Un report di inventario non include metadati, log di sistema e proprietà, pertanto non deve essere confrontato con il numero di oggetti fatturati e le dimensioni dei dati per l'account di archiviazione.

Il completamento dei processi di inventario richiede più tempo in determinati casi

Un processo di inventario può richiedere più tempo in questi casi:

• Viene aggiunta una grande quantità di nuovi dati

• Viene eseguita una regola o un set di regole per la prima volta

  L'esecuzione dell'inventario potrebbe richiedere più tempo rispetto alle esecuzioni di inventario successive.

• L'esecuzione di un inventario elabora una grande quantità di dati negli account abilitati per lo spazio dei nomi gerarchico

  Il completamento di un processo di inventario potrebbe richiedere più di un giorno per gli account abilitati per lo spazio dei nomi gerarchico con centinaia di milioni di BLOB. A volte il processo di inventario non riesce e non crea un file di inventario. Se un processo non viene completato correttamente, controllare che i processi successivi vengano completati prima di contattare il supporto.

• Non è possibile generare un report a posteriori per una data specifica.

I processi di inventario non possono scrivere report in contenitori con criteri di replica degli oggetti

I criteri di replica degli oggetti possono impedire a un processo di inventario di scrivere i report di inventario nel contenitore di destinazione. In altri scenari i report possono essere archiviati o diventare non modificabili quando vengono completati in modo parziale, causando l'esito negativo dei processi di inventario.

Inventario e archiviazione non modificabile

Non è possibile configurare un criterio di inventario nell'account se il supporto per l'immutabilità a livello di versione è abilitato in tale account o se il supporto per l'immutabilità a livello di versione è abilitato nel contenitore di destinazione definito nei criteri di inventario.

I report possono escludere BLOB eliminati temporaneamente negli account con uno spazio dei nomi gerarchico

Se un contenitore o una directory viene eliminato con l'eliminazione temporanea abilitata, tale contenitore o directory e tutti i relativi contenuti vengono contrassegnati come eliminati in modo temporaneo. Tuttavia, solo il contenitore o la directory (segnalata come BLOB di lunghezza zero) viene visualizzato in un report di inventario e non i BLOB eliminati in modo temporaneo in tale contenitore o directory, anche se si imposta il campo includeDeleted del criterio su true. Ciò può determinare una differenza tra ciò che viene visualizzato nelle metriche di capacità ottenute nel portale di Azure e ciò che viene segnalato da un report di inventario.

Nei report vengono visualizzati solo i BLOB eliminati in modo esplicito. Pertanto, per ottenere un elenco completo di tutti i BLOB eliminati in modo temporaneo (directory e tutti i BLOB figlio), i carichi di lavoro devono eliminare ogni BLOB in una directory prima di eliminare la directory stessa.

Passaggi successivi

• Abilitare i report dell'inventario BLOB di Archiviazione di Azure
• Calcolare il numero e le dimensioni totali dei BLOB per contenitore
• Esercitazione: Analizzare i report di inventario BLOB
• Gestire il ciclo di vita di Archiviazione BLOB di Azure
• Domande frequenti sull'inventario BLOB