Creare una connessione dati di Griglia di eventi per Azure Esplora dati

1. Passare al cluster Esplora dati di Azure nel portale di Azure.

2. In Dati selezionare Database>TestDatabase.

   

3. In Impostazioni selezionare Connessioni dati e quindi Aggiungi connessione>dati Griglia di eventi (archiviazione BLOB).

   

4. Compilare il modulo di connessione dati di Griglia di eventi con le informazioni seguenti:

   

   Impostazione	Valore consigliato	Descrizione campo
   Nome connessione dati	test-grid-connection	Il nome della connessione da creare in Esplora dati di Azure. I nomi di connessione dati possono contenere solo caratteri alfanumerici, trattini e punti e fino a 40 caratteri.
   Sottoscrizione dell'account di archiviazione	ID della sottoscrizione	L'ID sottoscrizione in cui trova l'account di archiviazione.
   Tipo di evento	BLOB creato o BLOB rinominato	Tipo di evento che attiva l'inserimento dati. BLOB rinominato è supportato solo per la risorsa di archiviazione ADLSv2. Per rinominare un BLOB, passare al BLOB in portale di Azure, fare clic con il pulsante destro del mouse sul BLOB e scegliere Rinomina. I tipi supportati sono Microsoft.Storage.BlobCreated o Microsoft.Storage.BlobRenamed.
   Account di archiviazione	gridteststorage1	Il nome dell'account di archiviazione creato in precedenza.
   Creazione risorse	Automatico	L'attivazione della creazione automatica delle risorse significa che Azure Esplora dati crea automaticamente una sottoscrizione di Griglia di eventi, uno spazio dei nomi di Hub eventi e un hub eventi. In caso contrario, è necessario creare queste risorse manualmente per garantire la creazione della connessione dati. Vedere Creare manualmente risorse per l'inserimento di Griglia di eventi

   1. Facoltativamente, è possibile tenere traccia di argomenti specifici di Griglia di eventi. Impostare i filtri per le notifiche come segue:

      • Il campo prefisso è il valore letterale del prefisso dell'oggetto. Quando il modello applicato inizia con , può estendersi su più contenitori, cartelle o BLOB. I caratteri jolly non sono consentiti.
        • Per definire un filtro per il contenitore BLOB il campo deve essere impostato come segue: /blobServices/default/containers/[container prefix].
        • Per definire un filtro per un prefisso BLOB (o una cartella in Azure Data Lake Gen2) il campo deve essere impostato come segue: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Il campo Suffisso è il valore letterale del suffisso del BLOB. I caratteri jolly non sono consentiti.
      • Il campo con distinzione tra Maiuscole/minuscole indica se i filtri del prefisso e del suffisso distinguono tra maiuscole e minuscole

      Per altre informazioni sul filtro degli eventi, vedere Eventi di archiviazione BLOB.

   2. Facoltativamente, è possibile specificare le impostazioni di routing dei dati in base alle informazioni seguenti. Non è necessario specificare tutte le impostazioni di routing dei dati. È anche possibile specificare impostazioni parziali.

      Impostazione	Valore consigliato	Descrizione campo
      Consentire il routing dei dati ad altri database (connessione dati multi database)	Non consentire	Attivare o disattivare questa opzione se si desidera eseguire l'override del database di destinazione predefinito associato alla connessione dati. Per altre informazioni sul routing del database, vedere Routing degli eventi.
      Nome tabella	TestTable	Tabella creata in TestDatabase.
      Formato dati	JSON	I formati supportati sono APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT e W3CLOG. Le opzioni di compressione supportate sono Zip e Gzip.
      Nome mapping	TestTable_mapping	Mapping creato in TestDatabase, che esegue il mapping dei dati in ingresso ai nomi di colonna e ai tipi di dati di TestTable. Se non specificato, viene generato automaticamente un mapping dei dati Identity derivato dallo schema della tabella.
      Ignorare gli errori di formato	Ignora	Attivare o disattivare questa opzione se si desidera ignorare gli errori di formato per il formato dati JSON.

      Nota

      I nomi di tabella e mapping fanno distinzione tra maiuscole e minuscole.

   3. Facoltativamente, in Impostazioni avanzate è possibile specificare il tipo di identità gestita usato dalla connessione dati. Per impostazione predefinita, l'opzione Assegnata dal sistema è selezionata.

      Se si seleziona Assegnata dall'utente, è necessario assegnare manualmente un'identità gestita. Se si seleziona un utente non ancora assegnato al cluster, verrà assegnato automaticamente. Per altre informazioni, vedere Configurare le identità gestite per il cluster di azure Esplora dati.

      Se si seleziona Nessuno, l'account di archiviazione e l'hub eventi vengono autenticati tramite stringa di connessione. Questo metodo non è consigliato.

      

5. Selezionare Crea.

1. Passare all'account di archiviazione nel portale di Azure.
2. Seleziona Eventi.
3. Nella scheda Attività iniziali selezionare la scheda Azure Esplora dati.
4. Nel riquadro Crea inserimento dati continuo selezionare Crea.

Scegliere la destinazione per instradare gli eventi in

1. Selezionare un cluster in cui inserire i dati.
2. Selezionare un database di destinazione.
3. Seleziona Seleziona.

Creare una connessione dati

1. Compilare il modulo con le informazioni seguenti:

   

   Impostazione	Valore consigliato	Descrizione campo
   Nome connessione dati	test-grid-connection	Il nome della connessione da creare in Esplora dati di Azure.
   Sottoscrizione dell'account di archiviazione	ID della sottoscrizione	L'ID sottoscrizione in cui trova l'account di archiviazione.
   Tipo di evento	BLOB creato o BLOB rinominato	Tipo di evento che attiva l'inserimento dati. BLOB rinominato è supportato solo per la risorsa di archiviazione ADLSv2. Per rinominare un BLOB, passare al BLOB in portale di Azure, fare clic con il pulsante destro del mouse sul BLOB e scegliere Rinomina. I tipi supportati sono Microsoft.Storage.BlobCreated o Microsoft.Storage.BlobRenamed.
   Account di archiviazione	gridteststorage1	L'account di archiviazione da cui è stato eseguito l'accesso a questa procedura guidata viene popolato automaticamente.
   Creazione risorse	Automatico	L'attivazione della creazione automatica delle risorse significa che Azure Esplora dati crea automaticamente una sottoscrizione di Griglia di eventi, uno spazio dei nomi di Hub eventi e un hub eventi. In caso contrario, è necessario creare queste risorse manualmente per garantire la creazione della connessione dati. Vedere Creare manualmente risorse per l'inserimento di Griglia di eventi

   1. Facoltativamente, è possibile tenere traccia di argomenti specifici di Griglia di eventi. Impostare i filtri per le notifiche come segue:

      • Il campo prefisso è il valore letterale del prefisso dell'oggetto. Quando il modello applicato inizia con , può estendersi su più contenitori, cartelle o BLOB. I caratteri jolly non sono consentiti.
        • Per definire un filtro per il contenitore BLOB il campo deve essere impostato come segue: /blobServices/default/containers/[container prefix].
        • Per definire un filtro per un prefisso BLOB (o una cartella in Azure Data Lake Gen2) il campo deve essere impostato come segue: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
      • Il campo Suffisso è il valore letterale del suffisso del BLOB. I caratteri jolly non sono consentiti.
      • Il campo con distinzione tra Maiuscole/minuscole indica se i filtri del prefisso e del suffisso distinguono tra maiuscole e minuscole

      Per altre informazioni sul filtro degli eventi, vedere Eventi di archiviazione BLOB.

   2. Facoltativamente, è possibile specificare le impostazioni di routing dei dati in base alle informazioni seguenti. Non è necessario specificare tutte le impostazioni di routing dei dati. È anche possibile specificare impostazioni parziali.

      Impostazione	Valore consigliato	Descrizione campo
      Consentire il routing dei dati ad altri database (connessione dati multi database)	Non consentire	Attivare o disattivare questa opzione se si desidera eseguire l'override del database di destinazione predefinito associato alla connessione dati. Per altre informazioni sul routing del database, vedere Routing degli eventi.
      Nome tabella	TestTable	Tabella creata in TestDatabase.
      Formato dati	JSON	I formati supportati sono APACHEAVRO, Avro, CSV, JSON, ORC, PARQUET, PSV, RAW, SCSV, SOHSV, TSV, TSVE, TXT e W3CLOG. Le opzioni di compressione supportate sono Zip e Gzip.
      Nome mapping	TestTable_mapping	Mapping creato in TestDatabase, che esegue il mapping dei dati in ingresso ai nomi di colonna e ai tipi di dati di TestTable. Se non specificato, viene generato automaticamente un mapping dei dati Identity derivato dallo schema della tabella.
      Ignorare gli errori di formato	Ignora	Attivare o disattivare questa opzione se si desidera ignorare gli errori di formato per il formato dati JSON.

      Nota

      I nomi di tabella e mapping fanno distinzione tra maiuscole e minuscole.

   3. Facoltativamente, in Impostazioni avanzate è possibile specificare il tipo di identità gestita usato dalla connessione dati. Per impostazione predefinita, l'opzione Assegnata dal sistema è selezionata.

      Se si seleziona Assegnata dall'utente, è necessario assegnare manualmente un'identità gestita. Se si seleziona un utente non ancora assegnato al cluster, verrà assegnato automaticamente. Per altre informazioni, vedere Configurare le identità gestite per il cluster di azure Esplora dati.

      Se si seleziona Nessuno, l'account di archiviazione e l'hub eventi vengono autenticati tramite stringa di connessione. Questo metodo non è consigliato.

      

2. Seleziona Crea.

L'esempio seguente illustra un modello di Azure Resource Manager per l'aggiunta di una connessione dati di Griglia di eventi. È possibile modificare e distribuire il modello nel portale di Azure usando il modulo.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

L'esempio di codice seguente usa Archiviazione BLOB di Azure SDK per caricare un file in Archiviazione BLOB di Azure. Il caricamento attiva la connessione dati di Griglia di eventi, che inserisce i dati in Azure Esplora dati.

var azureStorageAccountConnectionString = <storage_account_connection_string>;
var containerName = <container_name>;
var blobName = <blob_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
// Create a new container if it not already exists.
var azureStorageAccount = new BlobServiceClient(azureStorageAccountConnectionString);
var container = azureStorageAccount.GetBlobContainerClient(containerName);
container.CreateIfNotExists();
// Define blob metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new BlobUploadOptions
{
    Metadata = metadata,
};
// Upload the file.
var blob = container.GetBlobClient(blobName);
blob.Upload(localFileName, uploadOptions);

L'esempio di codice seguente usa Azure Data Lake SDK per caricare un file in Data Lake Storage Gen2. Il caricamento attiva la connessione dati di Griglia di eventi, che inserisce i dati in Azure Esplora dati.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var fileName = <file_name>;
var localFileName = <file_to_upload>;
var uncompressedSizeInBytes = <uncompressed_size_in_bytes>;
var mapping = <mapping_reference>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Create the filesystem.
var dataLakeFileSystemClient = dataLakeServiceClient.CreateFileSystem(fileSystemName).Value;
// Define file metadata and uploading options.
IDictionary<String, String> metadata = new Dictionary<string, string>();
metadata.Add("rawSizeBytes", uncompressedSizeInBytes);
metadata.Add("kustoIngestionMappingReference", mapping);
var uploadOptions = new DataLakeFileUploadOptions
{
    Metadata = metadata,
    Close = true // Note: The close option triggers the event being processed by the data connection.
};
// Upload the file.
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(fileName);
dataLakeFileClient.Upload(localFileName, uploadOptions);

Rinominare i BLOB

In ADLSv2 è possibile rinominare le directory. Tuttavia, è importante notare che la ridenominazione di una directory non attiva eventi rinominati di BLOB o avvia l'inserimento di BLOB contenuti nella directory. Se si vuole garantire l'inserimento di BLOB dopo la ridenominazione di una directory, è necessario rinominare direttamente i singoli BLOB all'interno della directory.

L'esempio di codice seguente illustra come rinominare un BLOB in un account di archiviazione ADLSv2.

var accountName = <storage_account_name>;
var accountKey = <storage_account_key>;
var fileSystemName = <file_system_name>;
var sourceFilePath = <source_file_path>;
var destinationFilePath = <destination_file_path>;
var sharedKeyCredential = new StorageSharedKeyCredential(accountName, accountKey);
var dfsUri = "https://" + accountName + ".dfs.core.windows.net";
var dataLakeServiceClient = new DataLakeServiceClient(new Uri(dfsUri), sharedKeyCredential);
// Get a client to the the filesystem

var dataLakeFileSystemClient = dataLakeServiceClient.GetFileSystemClient(fileSystemName);
// Rename a file in the file system
var dataLakeFileClient = dataLakeFileSystemClient.GetFileClient(sourceFilePath);
dataLakeFileClient.Rename(destinationFilePath);