Förbättrad säkerhetsövervakning
Den här artikeln beskriver den förbättrade säkerhetsövervakningsfunktionen och hur du konfigurerar den på din Azure Databricks-arbetsyta eller ditt konto.
Om du aktiverar den här funktionen debiteras du för tillägget Förbättrad säkerhet och efterlevnad enligt beskrivningen på prissidan.
Översikt över förbättrad säkerhetsövervakning
Förbättrad säkerhetsövervakning i Azure Databricks ger en förbättrad förstärkt diskbild och ytterligare säkerhetsövervakningsagenter som generate loggrader som du kan granska med hjälp av diagnostikloggar.
Säkerhetsförbättringarna gäller endast för beräkningsresurser i det klassiska beräkningsplanet, till exempel kluster och icke-serverlösa SQL-lager.
Serverlösa beräkningsplanresurser, till exempel serverlösa SQL-lager, har inte extra övervakning när förbättrad säkerhetsövervakning är aktiverad.
Kommentar
De flesta Typer av Azure-instanser stöds, men generation 2 (Gen2) och Arm64-baserade virtuella datorer stöds inte. Azure Databricks tillåter inte att beräkning startas med dessa instanstyper när förbättrad säkerhetsövervakning är aktiverad.
Förbättrad säkerhetsövervakning omfattar:
En förbättrad härdad operativsystemavbildning baserad på Ubuntu Advantage.
Ubuntu Advantage är ett paket med företagssäkerhet och stöd för öppen källkod infrastruktur och program som innehåller en härdad CIS-avbildning på nivå 1.
Övervakningsagenter för antivirus- och filintegritet som generate loggar som du kan granska.
Övervaka agenter i Azure Databricks-beräkningsplansbilder
Även om förbättrad säkerhetsövervakning är aktiverad finns det ytterligare säkerhetsövervakningsagenter, inklusive två agenter som är förinstallerade i den förbättrade avbildningen av beräkningsplanet. Du kan inte inaktivera de övervakningsagenter som finns i den förbättrade diskbilden för beräkningsplanet.
| Övervakningsagent | Plats | beskrivning | Hur man get genererar utdata |
|---|---|---|---|
| Övervakning av filintegritet | Förbättrad bild av beräkningsplan | Övervakare för filintegritet och säkerhetsgränsöverträdelser. Den här övervakningsagenten körs på den virtuella arbetsdatorn i klustret. | Aktivera granskningsloggen system table och granska loggar för nya rader. |
| Identifiering av antivirus och skadlig kod | Förbättrad bild av beräkningsplan | Söker igenom filsystemet efter virus dagligen. Den här övervakningsagenten körs på de virtuella datorerna i dina beräkningsresurser, till exempel kluster och pro- eller klassiska SQL-lager. Agenten för identifiering av antivirus och skadlig kod söker igenom hela värdoperativsystemets filsystem och filsystemet Databricks Runtime-container. Allt utanför klustrets virtuella datorer ligger utanför genomsökningsomfånget. | Aktivera granskningsloggen system table och granska loggar för nya rader. |
| Sårbarhetsgenomsökning | Genomsökning sker i representativa avbildningar i Azure Databricks-miljöer. | Söker igenom containervärden (VM) efter vissa kända sårbarheter och vanliga sårbarheter och exponeringar (CVE). | Skickas via e-post till Azure Databricks-arbetsyteadministratörer. |
Om du vill get de senaste versionerna av övervakningsagenter kan du starta om dina kluster. Om din arbetsyta använder automatiskt kluster update, startas kluster som standard om vid behov under de schemalagda underhållsfönstrena. Om säkerhetsprofilen för -efterlevnad är aktiverad på en arbetsyta aktiveras automatisk klustring update automatiskt och permanent på den arbetsytan.
Övervakning av filintegritet
Den förbättrade avbildningen av beräkningsplanet innehåller en tjänst för övervakning av filintegritet som ger körningssynlighet och hotidentifiering för beräkningsresurser (klusterarbetare) i det klassiska beräkningsplanet på arbetsytan.
Utdata för filintegritetsövervakaren genereras i granskningsloggarna, som du kan komma åt med system tables. Se Övervaka kontoaktivitet med system tables. JSON-schema för nya granskningsbara händelser som är specifika för övervakning av filintegritet finns i Händelser för övervakning av filintegritet.
Viktigt!
Det är ditt ansvar att granska dessa loggar. Databricks kan, efter eget gottfinnande, granska dessa loggar men åtar sig inte att göra det. Om agenten upptäcker en skadlig aktivitet är det ditt ansvar att sortera dessa händelser och öppna ett supportärende med Databricks om lösningen eller reparationen kräver en åtgärd från Databricks. Databricks kan vidta åtgärder på grundval av dessa loggar, inklusive att pausa eller avsluta resurserna, men åtar sig inte att göra det.
Identifiering av antivirus och skadlig kod
Den förbättrade avbildningen av beräkningsplanet innehåller en antivirusmotor för att identifiera trojaner, virus, skadlig kod och andra skadliga hot. Antivirusövervakaren söker igenom hela värdoperativsystemets filsystem och databricks Runtime-containerfilsystemet. Allt utanför klustrets virtuella datorer ligger utanför genomsökningsomfånget.
Antivirusövervakarens utdata genereras i granskningsloggar, som du kan komma åt med system tables. JSON-schema för nya granskningsbara händelser som är specifika för antivirusövervakning hittar du under Antivirusövervakningshändelser.
När en ny avbildning av en virtuell dator skapas inkluderas uppdaterade signaturfiler i den.
Viktigt!
Det är ditt ansvar att granska dessa loggar. Databricks kan, efter eget gottfinnande, granska dessa loggar men åtar sig inte att göra det. Om agenten upptäcker en skadlig aktivitet är det ditt ansvar att sortera dessa händelser och öppna ett supportärende med Databricks om lösningen eller reparationen kräver en åtgärd från Databricks. Databricks kan vidta åtgärder på grundval av dessa loggar, inklusive att pausa eller avsluta resurserna, men åtar sig inte att göra det.
När en ny AMI-avbildning skapas inkluderas uppdaterade signaturfiler i den nya AMI-avbildningen.
Sårbarhetsgenomsökning
En säkerhetsövervakningsagent utför sårbarhetsgenomsökningar av containervärden (VM) för vissa kända CVE:er. Genomsökningen sker i representativa avbildningar i Azure Databricks-miljöer. Rapporter om sårbarhetsgenomsökning skickas via e-post till alla arbetsyteadministratörer när Azure Databricks släpper nya AMI-diskavbildningar.
När säkerhetsrisker hittas med den här agenten spårar Databricks dem mot SLA:et för sårbarhetshantering och släpper en uppdaterad avbildning när den är tillgänglig.
Hantering och uppgradering av övervakningsagenter
De ytterligare övervakningsagenter som finns på de diskbilder som används för beräkningsresurserna i det klassiska beräkningsplanet är en del av Standard Azure Databricks-processen för uppgradering av system:
- Den klassiska basdiskavbildningen för beräkningsplanet (AMI) ägs, hanteras och korrigeras av Databricks.
- Databricks levererar och tillämpar säkerhetskorrigeringar genom att släppa nya AMI-diskbilder. Leveransschemat beror på nya funktioner och serviceavtalet för identifierade säkerhetsrisker. Typisk leverans är varannan till fjärde vecka.
- Basoperativsystemet för beräkningsplanet är Ubuntu Advantage.
- Azure Databricks-kluster och pro- eller klassiska SQL-lager är tillfälliga som standard. Vid start använder kluster och proffs- eller klassiska SQL-lager den senaste tillgängliga basavbildningen. Äldre versioner som kan ha säkerhetsrisker är inte tillgängliga för nya kluster.
- Du ansvarar för att starta om kluster (med hjälp av användargränssnittet eller API:et) regelbundet för att säkerställa att de använder de senaste korrigerade virtuella värddatoravbildningarna.
Övervaka agentavslut
Om en övervakningsagent på den virtuella arbetsdatorn inte körs på grund av krasch eller annan avslutning försöker systemet starta om agenten.
Datakvarhållningsprincip för övervakning av agentdata
Övervakningsloggar skickas till systemet för granskningsloggar table i din egen lagring i din Azure-prenumeration, om du har konfigurerat diagnostikloggar. Kvarhållning, inmatning och analys av dessa loggar är ditt ansvar.
Rapporter och loggar för sårbarhetsgenomsökning behålls i minst ett år av Databricks.
Aktivera förbättrad säkerhetsövervakning i Azure Databricks
- Din Azure Databricks-arbetsyta måste finnas i Premium-planen.
Information om hur du aktiverar förbättrad säkerhetsövervakning på en arbetsyta finns i Aktivera förbättrade säkerhets- och efterlevnadsfunktioner med hjälp av Azure-portalen.
Det kan ta upp till sex timmar innan uppdateringar sprids till alla miljöer och till nedströmssystem som fakturering. Arbetsbelastningar som aktivt körs fortsätter med de inställningar som var aktiva när klustret eller andra beräkningsresurser startades, och nya inställningar börjar tillämpas nästa gång dessa arbetsbelastningar startas.