Trasmettere dati da Kafka cloud confluente con Analisi di flusso di Azure

Questo articolo descrive come connettere il processo di Analisi di flusso di Azure direttamente al cloud kafka confluente come input.

Prerequisiti

• Si dispone di un cluster kafka cloud confluente.
• Si dispone di un file di chiave API per il cluster kafka che contiene la chiave API da usare come nome utente, segreto API da usare come password e l'indirizzo del server Bootstrap.
• Si dispone di un processo di Analisi di flusso di Azure. È possibile creare un processo di Analisi di flusso di Azure seguendo la documentazione: Avvio rapido: Creare un processo di Analisi di flusso usando il portale di Azure
• Il cluster kafka cloud confluente deve essere accessibile pubblicamente e non protetto da un firewall o protetto in una rete virtuale.
• Il tipo di timestamp dell'argomento del cluster kafka cloud confluente deve essere LogAppendTime. L'impostazione predefinita per l'argomento kafka cloud confluent è CreateTime.
• Dovrebbe essere disponibile un insieme di credenziali delle chiavi esistente. È possibile creare una risorsa dell'insieme di credenziali delle chiavi seguendo la documentazione Avvio rapido: Creare un insieme di credenziali delle chiavi usando il portale di Azure

Configurare Analisi di flusso di Azure per l'uso dell'identità gestita

Analisi di flusso di Azure richiede di configurare l'identità gestita per accedere all'insieme di credenziali delle chiavi. È possibile configurare il processo di analisi di flusso per l'uso dell'identità gestita passando alla scheda Identità gestita sul lato sinistro in Configura.

1. Fare clic sulla scheda Identità gestita in Configura.
2. Selezionare Cambia identità e selezionare l'identità da usare con il processo: identità assegnata dal sistema o identità assegnata dall'utente.
3. Per identità assegnata dall'utente, selezionare la sottoscrizione in cui si trova l'identità assegnata dall'utente e selezionare il nome dell'identità.
4. Rivedere e salvare.

Scaricare il certificato da LetEncrypt

Analisi di flusso di Azure è un client basato su librdkafka e per connettersi al cloud confluente, sono necessari certificati TLS usati dal cloud confluente per l'autenticazione server. Il cloud Confluent usa i certificati TLS di Let's Encrypt, un'autorità di certificazione (CA) aperta.

Scaricare il certificato ISRG Root X1 in formato PEM nel sito di LetEncrypt.

Configurare l'insieme di credenziali delle chiavi con autorizzazioni

Analisi di flusso di Azure si integra perfettamente con Azure Key Vault per accedere ai segreti archiviati necessari per l'autenticazione e la crittografia. Il processo di Analisi di flusso di Azure si connette all'insieme di credenziali delle chiavi di Azure usando l'identità gestita per garantire una connessione sicura ed evitare l'esfiltrazione dei segreti. Per usare il certificato scaricato, è prima necessario caricarlo nell'insieme di credenziali delle chiavi.

Per caricare i certificati, è necessario avere accesso "Amministratore dell'insieme di credenziali delle chiavi" all'insieme di credenziali delle chiavi. Seguire questa procedura per concedere l'accesso amministratore:

1. Nell'insieme di credenziali delle chiavi selezionare Controllo di accesso (IAM).

2. Selezionare Aggiungi>Aggiungi assegnazione di ruolo per aprire la pagina Aggiungi assegnazione di ruolo.

3. Assegnare il ruolo usando la configurazione seguente:

Caricare il certificato nell'insieme di credenziali delle chiavi come segreto tramite l'interfaccia della riga di comando di Azure

Assicurarsi che l'interfaccia della riga di comando di Azure sia configurata e installata in locale con PowerShell. È possibile visitare questa pagina per ottenere indicazioni sulla configurazione dell'interfaccia della riga di comando di Azure: Introduzione all'interfaccia della riga di comando di Azure

Accedere all'interfaccia della riga di comando di Azure:

az login

Connettersi alla sottoscrizione contenente l'insieme di credenziali delle chiavi:

az account set --subscription <subscription name>

Ad esempio:

az account set --subscription mymicrosoftsubscription

Il comando seguente può caricare il certificato come segreto nell'insieme di credenziali delle chiavi:

<your key vault> è il nome dell'insieme di credenziali delle chiavi in cui si vuole caricare il certificato. <name of the secret> è qualsiasi nome che si vuole assegnare al segreto e come viene visualizzato nell'insieme di credenziali delle chiavi. <file path to certificate> è il percorso in cui si trova il certificato. È possibile fare clic con il pulsante destro del mouse e copiare il percorso del certificato.

az keyvault secret set --vault-name <your key vault> --name <name of the secret> --file <file path to certificate>

Ad esempio:

az keyvault secret set --vault-name mykeyvault --name confluentsecret --file C:\Users\Downloads\isrgrootx1.pem

Concedere al processo di Analisi di flusso le autorizzazioni per accedere al certificato nell'insieme di credenziali delle chiavi

Per consentire al processo di Analisi di flusso di Azure di leggere il segreto nell'insieme di credenziali delle chiavi, il processo deve disporre dell'autorizzazione per accedere all'insieme di credenziali delle chiavi. Usare la procedura seguente per concedere autorizzazioni speciali al processo di analisi di flusso:

1. Nell'insieme di credenziali delle chiavi selezionare Controllo di accesso (IAM).

2. Selezionare Aggiungi>Aggiungi assegnazione di ruolo per aprire la pagina Aggiungi assegnazione di ruolo.

3. Assegnare il ruolo usando la configurazione seguente:

Configurare l'input kafka nel processo di analisi di flusso

1. Nel processo di analisi di flusso selezionare Input in Topologia processo

2. Selezionare Aggiungi input>Kafka per aprire il pannello Kafka Nuova configurazione di input.

3. Usare la configurazione seguente:

Usare la configurazione seguente:

Salvare la configurazione e testare la connessione

Salvare la configurazione. Il processo di Analisi di flusso di Azure viene convalidato usando la configurazione fornita. Una connessione riuscita viene visualizzata nel portale se l'analisi di flusso può connettersi al cluster kafka.

Limiti

• Il certificato caricato nell'insieme di credenziali delle chiavi deve essere in formato PEM.
• La versione minima di kafka deve essere la 0.10.
• Analisi di flusso di Azure non supporta l'autenticazione per il cloud confluent usando OAuth o SAML Single Sign-On (SSO). È necessario usare la chiave API tramite il protocollo SASL_SSL.
• È necessario usare l'interfaccia della riga di comando di Azure per caricare il certificato come segreto nell'insieme di credenziali delle chiavi. Non è possibile caricare i certificati con segreti su più righe nell'insieme di credenziali delle chiavi usando il portale di Azure.

Passaggi successivi