Connessione dati a Griglia di eventi

L'inserimento con Griglia di eventi è una pipeline che rimane in ascolto nell'archiviazione di Azure e aggiorna Esplora dati di Azure per eseguire il pull delle informazioni quando si verificano eventi sottoscritti. Azure Esplora dati offre l'inserimento continuo da Archiviazione di Azure (archiviazione BLOB e ADLSv2) con Griglia di eventi di Azure sottoscrizione per le notifiche blob create o rinominate in BLOB e trasmettere queste notifiche ad Azure Esplora dati tramite un Hub eventi di Azure.

La pipeline di inserimento di Griglia di eventi esegue diversi passaggi. Si crea una tabella di destinazione in Azure Esplora dati in cui verranno inseriti i dati in un formato specifico. Creare quindi una connessione dati di Griglia di eventi in Azure Esplora dati. La connessione dati di Griglia di eventi deve conoscere le informazioni di routing degli eventi, ad esempio la tabella a cui inviare i dati e il mapping della tabella. Specificare anche le proprietà di inserimento, che descrivono i dati da inserire, la tabella di destinazione e il mapping. È possibile generare dati di esempio e caricare BLOB o rinominare BLOB per testare la connessione. Eliminare i BLOB dopo l'inserimento.

L'inserimento di Griglia di eventi può essere gestito tramite la portale di Azure, usando l'inserimento guidato, a livello di codice con C# o Python o con il modello di Azure Resource Manager.

Per informazioni generali sull'inserimento dati in Azure Esplora dati, vedere Panoramica dell'inserimento di dati in Azure Esplora dati.

Meccanismi di autenticazione della connessione dati di Griglia di eventi

• Connessione dati basata su identità gestita (scelta consigliata): l'uso di una connessione dati basata sull'identità gestita è il modo più sicuro per connettersi alle origini dati. Offre il controllo completo sulla possibilità di recuperare i dati da un'origine dati. L'installazione di una connessione dati di Griglia di eventi tramite l'identità gestita richiede la procedura seguente:

  1. Aggiungere un'identità gestita al cluster.
  2. Concedere le autorizzazioni all'identità gestita nell'origine dati. Per recuperare i dati da Archiviazione di Azure, l'identità gestita deve disporre almeno delle autorizzazioni di lettura dei dati dei BLOB di archiviazione per l'account Archiviazione di Azure.
  3. Concedere le autorizzazioni all'identità gestita nell'hub eventi. Per recuperare le notifiche BLOB dall'hub eventi, l'identità gestita deve disporre delle autorizzazioni Hub eventi di Azure Ricevitore dati per il Hub eventi di Azure.
  4. Impostare criteri di identità gestiti nei database di destinazione.
  5. Creare una connessione dati usando l'autenticazione dell'identità gestita per recuperare i dati.

  Attenzione

  • Se le autorizzazioni dell'identità gestita vengono rimosse dall'origine dati, la connessione dati non funzionerà più e non sarà più in grado di recuperare i dati dall'origine dati.
  • Se l'autenticazione locale è disabilitata in uno spazio dei nomi di Hub eventi esistente in cui vengono trasmessi le notifiche BLOB, è necessario usare l'autenticazione dell'identità gestita per la connessione dati e configurare correttamente le risorse. Per altre informazioni, vedere Problemi noti di Griglia di eventi.

• Connessione dati basata su chiave: se non viene specificata un'autenticazione basata su identità gestita per la connessione dati, per impostazione predefinita la connessione viene automaticamente eseguita con l'autenticazione basata su chiave. Le connessioni basate su chiave recuperano i dati usando una risorsa stringa di connessione, ad esempio il Hub eventi di Azure stringa di connessione. Azure Esplora dati ottiene il stringa di connessione della risorsa per la risorsa specificata e lo salva in modo sicuro. Il stringa di connessione viene quindi usato per recuperare i dati dall'origine dati.

  Attenzione

  Se la chiave viene ruotata, la connessione dati non funzionerà più e non sarà in grado di recuperare i dati dall'origine dati. Per risolvere il problema, aggiornare o ricreare la connessione dati.

Formato dati

• Vedere i formati supportati.
• Vedere le compressioni supportate.

  • Le dimensioni dei dati non compressi originali devono far parte dei metadati del BLOB oppure Azure Esplora dati lo stima. Il limite di dimensioni di inserimento non compresso per ogni file è di 6 GB.

    Nota

    La sottoscrizione di notifica di Griglia di eventi può essere impostata sugli account di archiviazione di Azure per BlobStorage, StorageV2 o Data Lake Storage Gen2.

Proprietà di inserimento

È possibile specificare le proprietà di inserimento dell'inserimento BLOB tramite i metadati dei BLOB. È possibile impostare le proprietà seguenti:

Routing degli eventi

Quando si crea una connessione dati al cluster, si specifica il routing per dove inviare i dati inseriti. Il routing predefinito è la tabella di destinazione specificata nella stringa di connessione associata al database di destinazione. Il routing predefinito per i dati viene definito anche routing statico. È possibile specificare un routing alternativo per i dati usando le proprietà dei dati dell'evento.

Instradare i dati degli eventi a un database alternativo

Il routing dei dati a un database alternativo è disattivato per impostazione predefinita. Per inviare i dati a un database diverso, è prima necessario impostare la connessione come connessione multi-database. A tale scopo, è possibile usare portale di Azure, C#, Python o un modello di Resource Manager. L'utente, il gruppo, l'entità servizio o l'identità gestita usata per consentire il routing del database deve avere almeno il ruolo collaboratore e le autorizzazioni di scrittura nel cluster. Per altre informazioni, vedere Creare una connessione dati di Griglia di eventi per Azure Esplora dati.

Per specificare un database alternativo, impostare la proprietà Inserimento database.

Instradare i dati degli eventi a una tabella alternativa

Quando si configura una connessione di archiviazione BLOB al cluster Esplora dati di Azure, specificare le proprietà della tabella di destinazione:

• Nome tabella
• formato dei dati
• mapping

È anche possibile specificare le proprietà della tabella di destinazione per ogni BLOB, usando i metadati del BLOB. I dati verranno indirizzati dinamicamente, come specificato dalle proprietà di inserimento.

L'esempio seguente illustra come impostare le proprietà di inserimento nei metadati del BLOB prima di caricarlo. I BLOB vengono indirizzati a tabelle diverse.

Inoltre, è possibile specificare il database di destinazione. Viene creata una connessione dati di Griglia di eventi all'interno del contesto di un database specifico. Di conseguenza, questo database è il routing predefinito del database della connessione dati. Per inviare i dati a un database diverso, impostare la proprietà di inserimento "KustoDatabase" e impostare la connessione dati come connessione dati multi database. Il routing dei dati a un altro database è disabilitato per impostazione predefinita (non consentito). Se si imposta una proprietà di inserimento del database diversa dal database della connessione dati, senza consentire il routing dei dati a più database (impostando la connessione come connessione dati multi database), l'inserimento avrà esito negativo.

Per altre informazioni, vedere Caricare i BLOB.

var container = new BlobContainerClient("<storageAccountConnectionString>", "<containerName>");
await container.CreateIfNotExistsAsync();
var blob = container.GetBlobClient("<blobName>");
// Blob is dynamically routed to table `Events`, ingested using `EventsMapping` data mapping
await blob.SetMetadataAsync(
    new Dictionary<string, string>
    {
        { "rawSizeBytes", "4096" }, // the uncompressed size is 4096 bytes
        { "kustoTable", "Events" },
        { "kustoDataFormat", "json" },
        { "kustoIngestionMappingReference", "EventsMapping" },
        { "kustoDatabase", "AnotherDB" }
    }
);
await blob.UploadAsync(BinaryData.FromString(File.ReadAllText("<filePath>")));

Caricare i BLOB

È possibile creare un BLOB da un file locale, impostare le proprietà di inserimento sui metadati del BLOB e caricarlo. Per esempi, vedere Usare la connessione dati di Griglia di eventi.

Rinominare i BLOB

Quando si usa ADLSv2, è possibile rinominare un BLOB per attivare l'inserimento BLOB in Azure Esplora dati. Ad esempio, vedere Rinominare i BLOB.

Eliminare i BLOB usando il ciclo di vita dell'archiviazione

Azure Esplora dati non eliminerà i BLOB dopo l'inserimento. Usare il ciclo di vita di Azure Blob storage per gestire l'eliminazione del BLOB. È consigliabile conservare i BLOB per tre o cinque giorni.

Problemi noti di Griglia di eventi

Funzionamento senza autenticazione locale

Se l'autenticazione locale è disabilitata nello spazio dei nomi di Hub eventi che contiene l'hub eventi usato per le notifiche di streaming, seguire questa procedura per garantire che i dati vengano trasmessi correttamente dall'archiviazione all'hub eventi usando identità gestite:

$eventGridSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTGRID SYSTEM TOPIC>"
$eventGridResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTGRID SYSTEM TOPIC>"
$eventGridSystemTopicName = "<EVENTGRID SYSTEM TOPIC NAME>"
$eventGridSubscriptionName = "<EVENTGRID SUBSCRIPTION NAME>"

$eventhubSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTHUB NAMESPACE>"
$eventhubResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTHUB NAMESPACE>"
$eventhubNamespaceName = "<THE EVENTHUB NAMESPACE NAME>"
$eventhubName = "<THE EVENTHUB NAME>"

Set-AzContext -SubscriptionId $eventGridSubscriptionId

Write-Host "Checking if Event Grid Topic exists"
$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$hasSystemAssignedIdentity = $eg.IdentityType -match "SystemAssigned"

if ($hasSystemAssignedIdentity) {
    Write-Host -ForegroundColor Green "Event Grid Topic $eventGridSystemTopicName already has a system-assigned identity"
}
else {
    Write-Host "Event Grid Topic $eventGridSystemTopicName doesn't have a system-assigned identity. Assigning one..."
    Update-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName -EnableSystemAssignedIdentity $true
    Write-Host -ForegroundColor Green "System-assigned identity has been assigned to Event Grid Topic $eventGridSystemTopicName"
}

$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$identityPrincipalId = $eg.IdentityPrincipalId

Set-AzContext -SubscriptionId $eventhubSubscriptionId

$eventhubResourceId = "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"

Write-Host "Checking if Azure Event Hubs Data Sender role is assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
$roleAssignment = Get-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope $eventhubResourceId
$hasRoleAssignment = $null -ne $roleAssignment

if ($hasRoleAssignment) {
    Write-Host -ForegroundColor Yellow "Azure Event Hubs Data Sender role is already assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}
else {
    Write-Host "Going to assign Azure Event Hubs Data Sender role to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubResourceId"
    New-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"
    Write-Host -ForegroundColor Green "Azure Event Hubs Data Sender role has been assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}

Write-Host "Checking if Event Subscription $eventSubscriptionName is using Systeam assigned identity"
$eventGridSubscribtion = Get-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName
$deliveryIdentityType = $eventGridSubscribtion.DeliveryWithResourceIdentityType
$destination = $eventGridSubscribtion.Destination

if ($deliveryIdentityType -eq "SystemAssigned") {
    Write-Host -ForegroundColor Yellow "Event Subscription $eventGridSubscriptionName is allready using System Assigned Identity"
}
else {
    Write-Host "Event Subscription $eventGridSubscriptionName is not using System Assigned Identity. Updating..."
    Update-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName -DeliveryWithResourceIdentityType "SystemAssigned" -DeliveryWithResourceIdentityDestination $destination
    Write-Host -ForegroundColor Green "Event Subscription $eventGridSubscriptionName is now using System Assigned Identity"
}

Write-Host -ForegroundColor Green "%%%%%%%% Script has been executed successfully %%%%%%%%"

Configurare inoltre la connessione dati di Griglia di eventi per l'uso dell'autenticazione dell'identità gestita in modo che Azure Esplora dati possa ricevere notifiche dall'hub eventi.

Configurare l'inserimento di Griglia di eventi nei file esportati da Azure Esplora dati

Quando si usa Azure Esplora dati per esportare i file usati per l'inserimento in Griglia di eventi, prendere nota:

• Le notifiche di Griglia di eventi non vengono attivate se la stringa di connessione specificata per il comando di esportazione o la stringa di connessione fornita a una tabella esterna è una stringa di connessione in formato ADLS Gen2, ad esempio abfss://filesystem@accountname.dfs.core.windows.net, ma l'account di archiviazione non è abilitato per lo spazio dei nomi gerarchico.
• Se l'account non è abilitato per lo spazio dei nomi gerarchico, la stringa di connessione deve usare il formato di archiviazione BLOB, ad esempio https://accountname.blob.core.windows.net. L'esportazione funziona come previsto anche quando si usa la stringa di connessione in formato ADLS Gen2, ma le notifiche non verranno attivate e l'inserimento di Griglia di eventi non funzionerà.

Emulazione di eventi di archiviazione da componenti personalizzati

Quando si usano componenti personalizzati per emulare Archiviazione di Azure eventi, gli eventi emulati devono essere strettamente conformi allo schema di eventi Archiviazione BLOB di Azure, perché Azure Esplora dati eliminerà gli eventi che non possono essere analizzati dall'SDK di Griglia di eventi.

Contenuto correlato

• Creare una connessione dati di Griglia di eventi
• Inserire dati da Hub eventi di Azure in Azure Esplora dati usando la procedura guidata di inserimento
• Inserire dati da un contenitore o Da Azure Data Lake Storage in Azure Esplora dati