Configurare gli endpoint del flusso di dati per Microsoft Fabric OneLake

Per inviare dati a Microsoft Fabric OneLake in Operazioni IoT di Azure, è possibile configurare un endpoint del flusso di dati. Questa configurazione consente di specificare l'endpoint di destinazione, il metodo di autenticazione, la tabella e altre impostazioni.

Prerequisiti

• Istanza delle operazioni di Azure IoT
• Microsoft Fabric OneLake. Per creare un'area di lavoro e una lakehouse, vedere la procedura seguente.
  • Creare un'area di lavoro. L'area di lavoro predefinita non è supportata.
  • Creare un lakehouse.
  • Se visualizzato, verificare che gli schemi lakehouse (anteprima pubblica) siano deselezionati.
  • Prendere nota dei nomi dell'area di lavoro e del lakehouse.
• Assicurarsi che le entità servizio possano usare le API di Infrastruttura.

Assegnare l'autorizzazione all'identità gestita

Per configurare un endpoint del flusso di dati per Microsoft Fabric OneLake, è consigliabile usare un'identità gestita assegnata dall'utente o assegnata dal sistema. Questo approccio è sicuro ed elimina la necessità di gestire manualmente le credenziali.

Dopo aver creato Microsoft Fabric OneLake, è necessario assegnare un ruolo all'identità gestita di Azure IoT Operations che concede l'autorizzazione per la scrittura nel lakehouse di Fabric.

Se si usa l'identità gestita assegnata dal sistema, in portale di Azure passare all'istanza di Operazioni IoT di Azure e selezionare Panoramica. Copiare il nome dell'estensione elencata dopo l'estensione Azure IoT Operations Arc. Ad esempio, azure-iot-operations-xxxx7. L'identità gestita assegnata dal sistema è disponibile usando lo stesso nome dell'estensione Azure IoT Operations Arc.

Passare all'area di lavoro di Microsoft Fabric creata, selezionare Gestisci accesso>+ Aggiungi persone o gruppi.

1. Cercare il nome dell'identità gestita assegnata dall'utente configurata per le connessioni cloud o l'identità gestita assegnata dal sistema. Ad esempio, azure-iot-operations-xxxx7 .
2. Selezionare Collaboratore come ruolo, quindi selezionare Aggiungi. In questo modo l'identità gestita fornisce le autorizzazioni necessarie per scrivere in Fabric lakehouse. Per altre informazioni, vedere Ruoli nelle aree di lavoro in Microsoft Fabric.

Creare un endpoint del flusso di dati per Microsoft Fabric OneLake

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

kubectl apply -f <FILE>.yaml

Tipo di percorso OneLake

L'impostazione oneLakePathType determina il tipo di percorso da usare nel percorso OneLake. Il valore predefinito è Tables, che è il tipo di percorso consigliato per i casi d'uso più comuni. Il Tables tipo di percorso è una tabella nella lakehouse di OneLake usata per archiviare i dati. Può anche essere impostato come Files, ovvero un file nella lakehouse di OneLake usato per archiviare i dati. Il Files tipo di percorso è utile quando si desidera archiviare i dati in un formato di file non supportato dal Tables tipo di percorso.

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Metodi di autenticazione disponibili

Per gli endpoint del flusso di dati OneLake di Microsoft Fabric sono disponibili i metodi di autenticazione seguenti.

Identità gestita assegnata dal sistema

Prima di configurare l'endpoint del flusso di dati, assegnare un ruolo all'identità gestita di Operazioni IoT di Azure che concede l'autorizzazione per la scrittura in Fabric lakehouse:

1. In portale di Azure passare all'istanza di Operazioni IoT di Azure e selezionare Panoramica.
2. Copiare il nome dell'estensione elencata dopo l'estensione Azure IoT Operations Arc. Ad esempio, azure-iot-operations-xxxx7.
3. Passare all'area di lavoro di Microsoft Fabric, selezionare Gestisci accesso>+ Aggiungi persone o gruppi.
4. Cercare il nome dell'identità gestita assegnata dal sistema. Ad esempio, azure-iot-operations-xxxx7 .
5. Selezionare un ruolo appropriato e quindi selezionare Aggiungi.

Configurare quindi l'endpoint del flusso di dati con le impostazioni di identità gestite assegnate dal sistema.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Se è necessario eseguire l'override del gruppo di destinatari dell'identità gestita assegnata dal sistema, è possibile specificare l'impostazione audience .

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Identità gestita assegnata dall'utente

Per usare l'identità gestita assegnata dall'utente per l'autenticazione, è prima necessario distribuire le operazioni IoT di Azure con impostazioni sicure abilitate. È quindi necessario configurare un'identità gestita assegnata dall'utente per le connessioni cloud. Per altre informazioni, vedere Abilitare le impostazioni sicure nella distribuzione di Operazioni IoT di Azure.

Prima di configurare l'endpoint del flusso di dati, assegnare un ruolo all'identità gestita assegnata dall'utente che concede l'autorizzazione per la scrittura in Fabric lakehouse:Before you configure the dataflow endpoint, assign a role to the user-assigned managed identity that grant permission to write to the Fabric lakehouse.:

1. Passare all'area di lavoro di Microsoft Fabric, selezionare Gestisci accesso>+ Aggiungi persone o gruppi.
2. Cercare il nome dell'identità gestita assegnata dall'utente.
3. Selezionare un ruolo appropriato e quindi selezionare Aggiungi.

Configurare quindi l'endpoint del flusso di dati con le impostazioni di identità gestite assegnate dall'utente.

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

In questo caso, l'ambito è facoltativo e l'impostazione predefinita è https://storage.azure.com/.default. Se è necessario eseguire l'override dell'ambito predefinito, specificare l'impostazione scope usando Bicep o Kubernetes.

Impostazioni avanzate

È possibile impostare impostazioni avanzate per l'endpoint OneLake dell'infrastruttura, ad esempio la latenza di invio in batch e il numero di messaggi. È possibile impostare queste impostazioni nella scheda Portale avanzato dell'endpoint del flusso di dati o all'interno della risorsa personalizzata dell'endpoint del flusso di dati.

Batch

Usare le batching impostazioni per configurare il numero massimo di messaggi e la latenza massima prima che i messaggi vengano inviati alla destinazione. Questa impostazione è utile quando si vuole ottimizzare la larghezza di banda di rete e ridurre il numero di richieste alla destinazione.

Ad esempio, per configurare il numero massimo di messaggi su 1000 e la latenza massima a 100 secondi, usare le impostazioni seguenti:

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Passaggi successivi

Per altre informazioni sui flussi di dati, vedere Creare un flusso di dati.