Snabbstart: Skapa en Azure Databricks-arbetsyta i ditt eget virtuella nätverk
Standarddistributionen av Azure Databricks skapar ett nytt virtuellt nätverk som hanteras av Databricks. Den här snabbstarten visar hur du skapar en Azure Databricks-arbetsyta i ditt eget virtuella nätverk i stället. Du kan också skapa ett Apache Spark-kluster på den arbetsytan.
Mer information om varför du kan välja att skapa en Azure Databricks-arbetsyta i ditt eget virtuella nätverk finns i Distribuera Azure Databricks i ditt Virtuella Azure-nätverk (VNet-inmatning).
Förutsättningar
Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto. Den här självstudien kan inte utföras med en kostnadsfri utvärderingsprenumeration i Azure. Om du har ett kostnadsfritt konto går du till din profil och ändrar prenumerationen till Betala per användning. Mer information finns i Kostnadsfritt Azure-konto. Sedan remove utgifterna limitoch , begära en kvotökning för vCPU:er i din region. När du skapar din Azure Databricks-arbetsyta kan du selectutvärderingsversionen (Premium – 14 dagars kostnadsfria DBU:er) prisnivå för att ge arbetsytan åtkomst till kostnadsfria Premium Azure Databricks DBU:er i 14 dagar.
Du måste vara Azure-deltagare eller ägare, eller så måste resursprovidern Microsoft.ManagedIdentity vara registrerad i din prenumeration. Anvisningar finns i Registrera resursprovider.
Logga in på Azure-portalen
Logga in på Azure-portalen.
Kommentar
Om du vill skapa en Azure Databricks-arbetsyta i Azure Commercial Cloud som innehåller amerikanska myndighetsefterlevnadscertifieringar som FedRAMP High kontaktar du ditt Microsoft- eller Databricks-kontoteam för att få åtkomst till den här upplevelsen.
Skapa ett virtuellt nätverk
Från Menyn i Azure-portalen selectSkapa en resurs. Sedan selectnätverk > virtuellt nätverk.
Under Skapa virtuellt nätverk använder du följande inställningar:
Inställning Föreslaget värde beskrivning Prenumeration <Din prenumeration> Select den Azure-prenumeration som du vill använda. Resursgrupp databricks-snabbstart Select Skapa ny och ange ett nytt resursgruppnamn för ditt konto. Name databricks-snabbstart Select ett namn på det virtuella nätverket. Region <Select den region som är närmast dina användare> Select en geografisk plats where du kan vara värd för ditt virtuella nätverk. Använd den plats som är närmast dina användare. Select Nästa: IP-adresser > och tillämpa följande inställningar. Sedan selectGranska + skapa.
Inställning Föreslaget värde beskrivning IPv4-adressutrymme 10.2.0.0/16 Det virtuella nätverkets adressintervall i CIDR-notation. CIDR-intervallet måste vara mellan /16 och /24 Namn på undernät standard Select ett namn på standardundernätet i det virtuella nätverket. Undernätsadressintervall 10.2.0.0/24 Undernätets adressintervall i CIDR-notation. Den måste finnas i adressutrymmet för det virtuella nätverket. Adressintervallet för ett undernät som används kan inte redigeras. På fliken Granska + skapaselectSkapa för att distribuera det virtuella nätverket. När distributionen är klar navigerar du till ditt virtuella nätverk och selectAdressutrymme under Inställningar. I rutan Lägg till ytterligare adressintervallinsert
10.179.0.0/16
och selectSpara.
Skapa en Azure Databricks-arbetsyta
Från Menyn i Azure-portalen selectSkapa en resurs. Sedan selectAnalytics > Databricks.
Under Azure Databricks Service använder du följande inställningar:
Inställning Föreslaget värde beskrivning Namn på arbetsyta databricks-snabbstart Select ett namn på din Azure Databricks-arbetsyta. Prenumeration <Din prenumeration> Select den Azure-prenumeration som du vill använda. Resursgrupp databricks-snabbstart Select samma resursgrupp som du använde för det virtuella nätverket. Plats <Select den region som är närmast dina användare> Välj samma plats som det virtuella nätverket. Prisnivå Välj mellan Standard och Premium. Mer information om prisnivåer finns på prissättningssidan för Databricks. När du har angett inställningar på sidan GrundläggandeselectNästa: Nätverk > och tillämpar följande inställningar:
Inställning Föreslaget värde beskrivning Distribuera Azure Databricks-arbetsytan i ditt virtuella nätverk (VNet) Ja Med den här inställningen kan du distribuera en Azure Databricks-arbetsyta i ditt virtuella nätverk. Virtual Network databricks-snabbstart Select det virtuella nätverk som du skapade i föregående avsnitt. Namn på offentligt undernät public-subnet Använd standardnamnet för det offentliga undernätet. CIDR-intervall för offentligt undernät 10.179.64.0/18 Använd ett CIDR-intervall upp till och med /26. Namn på privat undernät privat undernät Använd standardnamnet för det privata undernätet. CIDR-intervall för privat undernät 10.179.0.0/18 Använd ett CIDR-intervall upp till och med /26. När distributionen är klar går du till Azure Databricks-resursen. Observera att peering för virtuella nätverk är inaktiverat. Observera även resursgruppen och den hanterade resursgruppen på översiktssidan.
Den hanterade resursgruppen kan inte ändras och används inte för att skapa virtuella datorer. Du kan bara skapa virtuella datorer i den resursgrupp som du hanterar.
När en arbetsytedistribution misslyckas skapas arbetsytan fortfarande i ett misslyckat tillstånd. Ta bort den misslyckade arbetsytan och skapa en ny arbetsyta som löser distributionsfelen. När du tar bort den misslyckade arbetsytan tas även den hanterade resursgruppen och eventuella distribuerade resurser bort.
Skapa ett kluster
Kommentar
Om du vill använda ett kostnadsfritt konto för att skapa Azure Databricks-klustret ska du innan du skapar klustret gå till din profil och ändra prenumerationen till betala per användning. Mer information finns i Kostnadsfritt Azure-konto.
Gå tillbaka till din Azure Databricks-tjänst och select, starta arbetsytan på sidan Översikt.
Select Kluster>+ Skapa kluster. Skapa sedan ett klusternamn, till exempel databricks-quickstart-cluster, och acceptera de återstående standardinställningarna. Select Skapa kluster.
När klustret körs återgår du till den hanterade resursgruppen i Azure Portal. Observera de nya virtuella datorerna, diskarna, IP-adressen och nätverksgränssnitten. Ett nätverksgränssnitt skapas i vart och ett av de offentliga och privata undernäten med IP-adresser.
Gå tillbaka till din Azure Databricks-arbetsyta och select klustret du skapade. Gå sedan till fliken Köre på sidan Spark-användargränssnitt . Observera att adresserna för drivrutinen och körarna finns i det privata undernätsintervallet. I det här exemplet är drivrutinen 10.179.0.6 och köre är 10.179.0.4 och 10.179.0.5. Dina IP-adresser kan vara olika.
Rensa resurser
När du är klar med artikeln kan du avsluta klustret. Det gör du genom att från Azure Databricks-arbetsytan från den vänstra rutan selectKluster. För klustret som du vill avsluta flyttar du markören över ellipsen under Actionscolumnoch select ikonen Avsluta. Detta stoppar klustret.
Om du inte manuellt avslutar klustret kommer det att stoppas automatiskt, förutsatt att du har markerat kryssrutan Avsluta efter ___ minuters inaktivitet när klustret skapades. I sådant fall stoppas klustret automatiskt om det har varit inaktivt under den angivna tiden.
Om du inte vill återanvända klustret kan du ta bort resursgruppen som du skapade i Azure Portal.
Nästa steg
I den här artikeln skapade du ett Spark-kluster i Azure Databricks som du distribuerade till ett virtuellt nätverk. Gå vidare till nästa artikel för att lära dig hur du frågar en SQL Server Linux Docker-container i det virtuella nätverket med hjälp av JDBC från en Azure Databricks-notebook-fil.