Gestione avanzata dell'agente di raccolta log

Questo articolo descrive come configurare le opzioni avanzate per Defender for Cloud Apps agenti di raccolta log di cloud discovery.

Defender for Cloud Apps'individuazione cloud continua a concentrarsi sui formati del firewall di base. Le modifiche apportate ai log inoltrati a livello di firewall potrebbero non continuare a funzionare o potrebbero causare problemi con l'analisi. Se si riscontrano errori di questo tipo, è consigliabile continuare a usare il formato del firewall di base o usare le opzioni con l'agente di raccolta log personalizzato. Per altre informazioni, vedere Usare un parser di log personalizzato.

Questo articolo descrive come modificare la configurazione per il Defender for Cloud Apps Docker di individuazione cloud.

Modificare la configurazione FTP dell'agente di raccolta log

Usare questi passaggi nelle sezioni seguenti per modificare la configurazione per il docker di individuazione cloud Defender for Cloud Apps.

Verificare la versione dell'agente di raccolta log

Per verificare la versione dell'agente di raccolta log attualmente installato nel sistema, connettersi all'host dell'agente di raccolta log ed eseguire:

cat /var/adallom/versions | grep columbus-

Modificare la password FTP

Questa procedura descrive come modificare la password usata per accedere ai file dell'agente di raccolta log:

1. Connettersi all'host dell'agente di raccolta log ed eseguire:

   docker exec -it <collector name> pure-pw passwd <ftp user>
   

2. Immettere la nuova password e quindi immetterla di nuovo per confermare.

3. Eseguire il comando seguente per applicare la modifica:

   docker exec -it <collector name> pure-pw mkdb
   

Dovrebbe essere possibile visualizzare il contenuto seguente:

• run_logs
• ssl_update
• config.json

Personalizzare i file di certificato

Questa procedura descrive come personalizzare i file di certificato usati per le connessioni sicure all'istanza di Docker di individuazione cloud.

1. Aprire un client FTP e connettersi all'host dell'agente di raccolta log.

2. Passare alla ssl_update directory e caricare i nuovi file di certificato, inclusi i file seguenti:

   Tipo di ricevitore	File obbligatori
   FTP	- pure-ftpd.pem: include i dati della chiave e del certificato
   Syslog	- ca.pem: certificato dell'autorità di certificazione usato per firmare il certificato del client. - server-key.pem e server-cert.pem: il certificato e la chiave dell'agente di raccolta log I messaggi syslog vengono inviati tramite TLS all'agente di raccolta log, che richiede l'autenticazione TLS reciproca, inclusa l'autenticazione dei certificati client e server.

   I nomi dei file sono obbligatori. Se uno dei file non è presente, l'aggiornamento non riesce.

3. In una finestra del terminale eseguire:

   docker exec -t <collector name> update_certs
   

   L'output dovrebbe essere simile al codice seguente:

   root@DockerPlayground:~# docker exec -t columbus update_certs
   rsyslog: stopped
   rsyslog: started
   ftpd: stopped
   ftpd: started
   root@DockerPlayground:~#
   

4. In una finestra del terminale eseguire:

   docker exec <collector name> chmod -R 700 /etc/ssl/private/
   

Abilitare l'agente di raccolta log dietro un proxy

Se si esegue dietro un proxy, l'agente di raccolta log potrebbe avere problemi durante l'invio dei dati a Defender for Cloud Apps. Ad esempio, ciò potrebbe verificarsi perché l'agente di raccolta log non considera attendibile l'autorità di certificazione radice del proxy e non è in grado di connettersi a Microsoft Defender for Cloud Apps per recuperare la configurazione o caricare i log ricevuti.

Le procedure seguenti descrivono come abilitare l'agente di raccolta log dietro un proxy.

Configurare l'agente di raccolta log dietro un proxy

Assicurarsi di aver eseguito i passaggi necessari per eseguire Docker in un computer Windows o Linux e di aver scaricato correttamente l'immagine Docker Defender for Cloud Apps nel computer host.

Per altre informazioni, vedere Configurare il caricamento automatico dei log per i report continui.

Convalidare la creazione del contenitore dell'agente di raccolta log Docker

Verificare che il contenitore sia stato creato ed è in esecuzione. Nella shell eseguire:

docker ps

Verrà visualizzato un risultato simile all'output seguente:

Copiare il certificato CA radice del proxy nel contenitore

Dalla macchina virtuale copiare il certificato ca nel contenitore Defender for Cloud Apps. Nell'esempio seguente il contenitore è denominato Ubuntu-LogCollector e il certificato CA è denominato Proxy-CA.crt.

Il comando seguente copia il certificato in una cartella nel contenitore in esecuzione. Eseguire il comando nell'host Ubuntu:

docker cp Proxy-CA.crt Ubuntu-LogCollector:/var/adallom/ftp/discovery

Impostare la configurazione in modo che funzioni con il certificato ca

1. Passare al contenitore. Eseguire il comando seguente per aprire bash nel contenitore dell'agente di raccolta log:

   docker exec -it Ubuntu-LogCollector /bin/bash
   

2. Da una finestra bash all'interno del contenitore passare alla cartella Java jre . Per evitare un errore di percorso correlato alla versione, usare il comando seguente:

   cd "$(find /opt/jdk/*/jre -name "bin" -printf '%h' -quit)"
   cd bin
   

3. Importare il certificato radice copiato in precedenza dalla cartella di individuazione in Java KeyStore e definire una password.

   La password predefinita è changeit. Per altre informazioni, vedere Modificare la password dell'archivio chiavi Java.

   ./keytool --import --noprompt --trustcacerts --alias SelfSignedCert --file /var/adallom/ftp/discovery/Proxy-CA.crt --keystore ../lib/security/cacerts --storepass <password>
   

4. Verificare che il certificato sia stato importato correttamente nell'archivio chiavi della CA. Eseguire il comando seguente per cercare l'alias specificato durante l'importazione (SelfSignedCert):

   ./keytool --list --keystore ../lib/security/cacerts | grep self
   

Viene visualizzato il certificato ca proxy importato.

Limitare gli indirizzi IP che inviano messaggi syslog all'agente di raccolta log in Linux

Per proteggere l'immagine docker e assicurarsi che sia consentito un solo indirizzo IP per inviare i messaggi syslog all'agente di raccolta log, creare una regola di tabella IP nel computer host per consentire il traffico di input e eliminare il traffico proveniente da porte specifiche, ad esempio TCP/601 o UDP/514, a seconda della distribuzione.

Il comando seguente illustra un esempio di come creare una regola di tabella IP che può essere aggiunta al computer host. Questa regola di tabella consente all'indirizzo IP '1.2.3.4'' di connettersi al contenitore dell'agente di raccolta log sulla porta TCP 601 e di eliminare tutte le altre connessioni provenienti da altri indirizzi IP sulla stessa porta.

iptables -I DOCKER-USER \! --src 1.2.3.4 -m tcp -p tcp --dport 601 -j DROP

Impostare l'agente di raccolta log da eseguire con la nuova configurazione

Il contenitore è ora pronto.

Eseguire il comando collector_config usando il token API usato durante la creazione dell'agente di raccolta log. Ad esempio:

Quando si esegue il comando, specificare il proprio token API, ad esempio collector_config abcd1234abcd1234abcd1234abcd1234 ${CONSOLE} ${COLLECTOR}

Ad esempio:

L'agente di raccolta log è ora in grado di comunicare con Defender for Cloud Apps. Dopo aver inviato i dati a Defender for Cloud Apps, lo stato dell'agente di raccolta log passa da Integro a Connesso. Ad esempio:

Modificare la password dell'archivio chiavi Java

1. Arrestare il server KeyStore Java.

2. Aprire una shell bash all'interno del contenitore e passare alla cartella appdata/conf .

3. Per modificare la password dell'archivio chiavi del server, eseguire:

   keytool -storepasswd -new newStorePassword -keystore server.keystore
   -storepass changeit
   

   La password del server predefinita è changeit.

4. Per modificare la password del certificato, eseguire:

   keytool -keypasswd -alias server -keypass changeit -new newKeyPassword -keystore server.keystore -storepass newStorePassword
   

   L'alias del server predefinito è server.

5. In un editor di testo aprire il file server-install\conf\server\secured-installed.properties . Aggiungere le righe di codice seguenti e quindi salvare le modifiche:

   1. Specificare la nuova password dell'archivio chiavi Java per il server: server.keystore.password=newStorePassword
   2. Specificare la nuova password del certificato per il server: server.key.password=newKeyPassword

6. Avviare il server.

Spostare l'agente di raccolta log in una partizione di dati diversa in Linux

Molte aziende hanno il requisito di spostare i dati in una partizione separata. Questa procedura descrive come spostare le Defender for Cloud Apps immagini dell'agente di raccolta log Docker in una partizione di dati nell'host Linux.

Questa procedura descrive lo spostamento dei dati in una partizione denominata archivio dati e presuppone che la partizione sia già stata montata. Ad esempio:

L'aggiunta e la configurazione di una nuova partizione nell'host Linux non rientrano nell'ambito di questa guida.

Per spostare l'agente di raccolta log in una partizione diversa:

1. Arrestare il servizio Docker. Correre:

   service docker stop
   

2. Spostare i dati dell'agente di raccolta log nella nuova partizione. Correre:

   mv /var/lib/docker /datastore/docker
   

3. Rimuovere la directory di archiviazione Docker precedente (/var/lib/docker) e creare un collegamento simbolico alla nuova directory (/datastore/docker). Correre:

   rm -rf /var/lib/docker && ln -s /datastore/docker /var/lib/
   

4. Avviare il servizio Docker. Correre:

   service docker start
   

5. Facoltativamente, verificare lo stato dell'agente di raccolta log. Correre:

   docker ps
   

Esaminare l'utilizzo del disco dell'agente di raccolta log in Linux

Questa procedura descrive come esaminare l'utilizzo e la posizione del disco dell'agente di raccolta log.

1. Identificare il percorso della directory in cui sono archiviati i dati dell'agente di raccolta log. Correre:

   docker inspect <collector_name> | grep WorkDir
   

   Ad esempio:

   

2. Ottenere le dimensioni su disco dell'agente di raccolta log usando il percorso identificato senza il suffisso "/work". Correre:

   du -sh /var/lib/docker/overlay2/<log_collector_id>/
   

   

   Nota

   Se è necessario conoscere solo le dimensioni su disco, è possibile usare invece il comando seguente: docker ps -s

Spostare l'agente di raccolta log in un host accessibile

Negli ambienti regolamentati, l'accesso agli hub Docker in cui è ospitata l'immagine dell'agente di raccolta log può essere bloccato. Ciò impedisce Defender for Cloud Apps di importare i dati dall'agente di raccolta log e può essere risolto spostando l'immagine dell'agente di raccolta log in un host accessibile.

Questa procedura descrive come scaricare l'immagine dell'agente di raccolta log usando un computer che ha accesso a Docker Hub e importarla nell'host di destinazione.

L'immagine scaricata può essere importata nel repository privato o direttamente nell'host. Questa procedura descrive come scaricare l'immagine dell'agente di raccolta log nel computer Windows e quindi usare WinSCP per spostare l'agente di raccolta log nell'host di destinazione.

Prerequisiti

1. Assicurarsi di avere Docker installato nell'host. Ad esempio, usare uno dei download seguenti:

   • https://download.docker.com/linux/ubuntu
   • https://download.docker.com/linux/centos/

2. Dopo il download, usare la guida all'installazione offline di Docker per installare il sistema operativo.

   Avviare il processo esportando l'immagine dell'agente di raccolta log e quindi importando l'immagine nell'host di destinazione.

Esportare l'immagine dell'agente di raccolta log dal Docker Hub

Le procedure seguenti descrivono come esportare l'immagine dell'agente di raccolta log usando Linux o Windows.

Esportare l'immagine in Linux

1. In un computer Linux che ha accesso al Docker Hub eseguire il comando seguente per installare Docker e scaricare l'immagine dell'agente di raccolta log.

   curl -o /tmp/MCASInstallDocker.sh https://adaprodconsole.blob.core.windows.net/public-files/MCASInstallDocker.sh && chmod +x /tmp/MCASInstallDocker.sh; /tmp/MCASInstallDocker.sh
   

2. Esportare l'immagine dell'agente di raccolta log. Correre:

   docker save --output /tmp/mcasLC.targ mcr.microsoft.com/mcas/logcollector
   chmod +r /tmp/mcasLC.tar
   

   Importante

   Assicurarsi di usare il parametro di output per scrivere in un file invece di STDOUT.

3. Scaricare l'immagine dell'agente di raccolta log nel computer Windows in C:\mcasLogCollector\ usando WinSCP. Ad esempio:

   

Esportare l'immagine in Windows

1. In un computer Windows 10 che ha accesso alla Docker Hub installare Docker Desktop.

2. Scaricare l'immagine dell'agente di raccolta log. Correre:

   docker login -u caslogcollector -p C0llector3nthusiast
   docker pull mcr.microsoft.com/mcas/logcollector
   

3. Esportare l'immagine dell'agente di raccolta log. Correre:

   docker save --output C:\mcasLogCollector\mcasLC.targ mcr.microsoft.com/mcas/logcollector
   

   Importante

   Assicurarsi di usare il parametro di output per scrivere in un file invece di STDOUT.

Importare e caricare l'immagine dell'agente di raccolta log nell'host di destinazione

Questa procedura descrive come trasferire l'immagine esportata all'host di destinazione.

1. Caricare l'immagine dell'agente di raccolta log nell'host di destinazione in /tmp/. Ad esempio:

   

2. Nell'host di destinazione importare l'immagine dell'agente di raccolta log nel repository di immagini Docker. Correre:

   docker load --input /tmp/mcasLC.tar
   

   Ad esempio:

   

3. Facoltativamente, verificare che l'importazione sia stata completata correttamente. Correre:

   docker image ls
   

   Ad esempio:

   

   È ora possibile procedere alla creazione dell'agente di raccolta log usando l'immagine dell'host di destinazione.

Definire porte personalizzate per i ricevitori Syslog e FTP per gli agenti di raccolta log in Linux

Alcune organizzazioni hanno il requisito di definire porte personalizzate per i servizi Syslog e FTP.

Quando si aggiunge un'origine dati, Defender for Cloud Apps agenti di raccolta log usa numeri di porta specifici per restare in ascolto dei log del traffico da una o più origini dati.

La tabella seguente elenca le porte di ascolto predefinite per i ricevitori:

Per definire porte personalizzate, seguire questa procedura:

1. Nel portale Microsoft Defender selezionare Impostazioni. Scegliere quindi App cloud.

2. In Cloud Discovery selezionare Caricamento automatico del log. Selezionare quindi la scheda Agenti di raccolta log .

3. Nella scheda Agenti di raccolta log aggiungere o modificare un agente di raccolta log e, dopo aver aggiornato le origini dati, copiare il comando esegui dalla finestra di dialogo. Ad esempio:

   

   Se usato come specificato, il comando fornito dalla procedura guidata configura l'agente di raccolta log per l'uso delle porte 514/udp e 515/udp. Ad esempio:

   (echo <credentials>) | docker run --name LogCollector1 -p 514:514/udp -p 515:515/udp -p 21:21 -p 20000-20099:20000-20099 -e "PUBLICIP='10.0.0.100'" -e "PROXY=" -e "SYSLOG=true" -e "CONSOLE=machine.us2.portal.cloudappsecurity.com" -e "COLLECTOR=LogCollector1" --security-opt apparmor:unconfined --cap-add=SYS_ADMIN --restart unless-stopped -a stdin -i mcr.microsoft.com/mcas/logcollector starter
   

   Ad esempio:

   

4. Prima di usare il comando nel computer host, modificare il comando per usare le porte personalizzate. Ad esempio, per configurare l'agente di raccolta log per l'uso delle porte UDP 414 e 415, modificare il comando come indicato di seguito:

   (echo <credentials>) | docker run --name LogCollector1 -p 414:514/udp -p 415:515/udp -p 21:21 -p 20000-20099:20000-20099 -e "PUBLICIP='10.0.0.100'" -e "PROXY=" -e "SYSLOG=true" -e "CONSOLE=machine.us2.portal.cloudappsecurity.com" -e "COLLECTOR=LogCollector1" --security-opt apparmor:unconfined --cap-add=SYS_ADMIN --restart unless-stopped -a stdin -i mcr.microsoft.com/mcas/logcollector starter
   

   Ad esempio:

   

   Nota

   Viene modificato solo il mapping Docker. Le porte assegnate internamente non vengono modificate consentendo di scegliere qualsiasi porta in ascolto nell'host.

Convalidare il formato del traffico e del log ricevuto dall'agente di raccolta log in Linux

In alcuni casi, potrebbe essere necessario analizzare problemi come i seguenti:

• Gli agenti di raccolta log ricevono dati: verificare che gli agenti di raccolta log ricevano messaggi Syslog dalle appliance e non siano bloccati dai firewall.
• I dati ricevuti sono nel formato di log corretto: convalidare il formato del log per risolvere gli errori di analisi confrontando il formato di log previsto da Defender for Cloud Apps e quello inviato dall'appliance.

Seguire questa procedura per verificare che il traffico venga ricevuto dagli agenti di raccolta log:

1. Accedere al server che ospita il contenitore Docker.

2. Verificare che l'agente di raccolta log stia ricevendo messaggi Syslog usando uno dei metodi seguenti:

   • Usare tcpdump o un comando simile per analizzare il traffico di rete sulla porta 514:

     tcpdump -Als0 port 514
     

     Se tutto è configurato correttamente, dovrebbe essere visualizzato il traffico di rete dalle appliance. Ad esempio:

     

   • Usare netcat o un comando simile per analizzare il traffico di rete nel computer host:

     1. Installare netcat e wget.

     2. Scaricare un file di log di esempio da Microsoft Defender XDR. Se necessario, decomprimere il file di log.

        1. In Microsoft Defender XDR, in App cloud selezionare Cloud Discovery>Actions>Create Cloud Discovery snapshot report (Creare un report snapshot di Cloud Discovery).

        2. Selezionare l'origine dati da cui caricare i file di log.

        3. Selezionare Visualizza e verificare , quindi fare clic con il pulsante destro del mouse su Scarica log di esempio e copiare il collegamento all'indirizzo URL.

        4. Selezionare Chiudi>annulla.

     3. Correre:

        wget <URL_address_to_sample_log>
        

     4. Eseguire netcat per trasmettere i dati all'agente di raccolta log.

        cat <path_to_downloaded_sample_log>.log | nc -w 0 localhost <datasource_port>
        

     Se l'agente di raccolta è configurato correttamente, i dati di log sono presenti nel file di messaggi e poco dopo vengono caricati nel portale di Defender for Cloud Apps.

   • Esaminare i file rilevanti all'interno del contenitore Docker Defender for Cloud Apps:

     1. Accedere al contenitore. Correre:

        docker exec -it <Container Name> bash
        

     2. Determinare se i messaggi Syslog vengono scritti nel file di messaggi. Correre:

        cat /var/adallom/syslog/<your_log_collector_port>/messages
        

     Se tutto è configurato correttamente, dovrebbe essere visualizzato il traffico di rete dalle appliance. Ad esempio:

     

     Nota

     Questo file continuerà a essere scritto in fino a raggiungere le dimensioni di 40 KB. Ad esempio:

3. Esaminare i log caricati in Defender for Cloud Apps nella /var/adallom/discoverylogsbackup directory. Ad esempio:

   

4. Convalidare il formato di log ricevuto dall'agente di raccolta log confrontando i messaggi archiviati in /var/adallom/discoverylogsbackup con il formato di log di esempio fornito nell'Defender for Cloud Apps Creazione guidata agente di raccolta log.

Scrivere l'output del file dei messaggi in un file locale

Se si vuole usare il proprio log di esempio ma non si ha accesso all'appliance, usare i comandi seguenti per scrivere l'output del file di messaggi , che si trova nella directory syslog dell'agente di raccolta log, in un file locale nell'host:

docker exec CustomerLogCollectorName tail -f -q /var/adallom/syslog/<datasource_port>/messages > /tmp/log.log

Confrontare il file di output (/tmp/log.log) con i messaggi archiviati nella /var/adallom/discoverylogsbackup directory.

Aggiornare la versione dell'agente di raccolta log

Durante l'aggiornamento dell'agente di raccolta log:

• Prima di installare la nuova versione, assicurarsi di arrestare l'agente di raccolta log e rimuovere l'immagine corrente.
• Dopo aver installato la nuova versione, aggiornare i file del certificato.

Passaggi successivi

Se si verificano problemi, siamo qui per aiutarti. Per ottenere assistenza o supporto per il problema del prodotto, aprire un ticket di supporto.