Freigeben über

Mai 2024

  • Artikel

Diese Features und Azure Databricks-Plattformverbesserungen wurden im Mai 2024 veröffentlicht.

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks-Konto wird möglicherweise erst eine Woche oder länger nach dem ursprünglichen Veröffentlichungsdatum aktualisiert.

Serverlose Firewallkonfiguration unterstützt jetzt weitere Computetypen

31. Mai 2024

Azure Databricks unterstützt jetzt die Konfiguration von Firewalls für serverlose Aufträge, Notebooks, Delta Live Tables-Pipelines und den Zugriff auf CPU-Endpunkte für die Modellbereitstellung mithilfe von Netzwerkkonnektivitätskonfigurationen (Network Connectivity Configurations, NCCs). Kontoadministratoren können NCCs erstellen und an Arbeitsbereiche anfügen, um einen sicheren und kontrollierten Zugriff über stabile Subnetze sicherzustellen.

Weitere Informationen finden Sie unter Konfigurieren einer Firewall für serverlosen Computezugriff.

Der Support für die Databricks Runtime 15.0-Serie läuft aus

31. Mai 2024

Der Support für Databricks Runtime 15.0 und Databricks Runtime 15.0 für Machine Learning wurde am 31. März beendet. Weitere Informationen finden Sie unter Databricks-Supportlebenszyklus.

Databricks Runtime 15.3 (Betaversion)

30. Mai 2024

Databricks Runtime 15.3 und Databricks Runtime 15.3 ML sind jetzt als Betaversionen verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 15.3 und Databricks Runtime 15.2 für Machine Learning.

Die Benutzeroberfläche für Computemetriken ist jetzt für alle Databricks Runtime-Versionen verfügbar

30. Mai 2024

Die Benutzeroberfläche für Computemetriken wurde für alle Databricks Runtime-Versionen eingeführt. Bisher waren diese Metriken nur für Computeressourcen verfügbar, die auf Databricks Runtime 13.3 und höher ausgeführt werden. Siehe Anzeigen von Compute-Metriken.

Verbesserte Suche und Filterung in Notizbuch- und SQL-Editor-Ergebnistabellen

28. Mai 2024

Sie können jetzt ganz einfach Spalten durchsuchen und Filterwerte aus einer Dropdownliste vorhandener Werte in den Ergebnistabellen in Notizbüchern und dem SQL-Editor auswählen.

Neues Dashboard unterstützt Databricks Marketplace-Anbieter bei der Überwachung der Eintragsnutzung.

28. Mai 2024

Mit dem neuen Anbieteranalysedashboard können Databricks Marketplace-Anbieter Eintragsaufrufe, -anforderungen und -installationen überwachen. Das Dashboard pullt Daten aus den Marketplace-Systemtabellen. Siehe Überwachen der Eintragsnutzungsmetriken mithilfe von Dashboards.

Anzeigen der vom System generierten Verbundabfragen in Query Profile

24. Mai 2024

Der Lakehouse-Verbund unterstützt jetzt das Anzeigen der vom System generierten Verbundabfragen und deren Metriken im Abfrageprofil. Klicken Sie in der Diagrammansicht auf den Verbundscanknoten, um die in die Datenquelle übertragene Abfrage anzuzeigen. Siehe Anzeigen der vom System generierten Verbundabfragen.

Ausgehende IP-Adressen der Compute-Ebene müssen einer IP-Zulassungsliste für Arbeitsbereiche hinzugefügt werden.

24. Mai 2024

Wenn Sie sichere Clusterkonnektivitäts- und IP-Zugriffslisten in Ihrem Arbeitsbereich verwenden, müssen Sie entweder alle öffentlichen IPs hinzufügen, welche die Computeebene für den Zugriff auf die Steuerebene verwendet, um auf eine Zulassungsliste zuzugreifen oder Private Backend Link zu konfigurieren. Diese Änderung wirkt sich am 29. Juli 2024 auf alle neuen Arbeitsbereiche und am 26. August 2024 auf vorhandene Arbeitsbereiche aus. Weitere Informationen finden Sie im Databricks Community-Beitrag.

Wenn Sie z. B. sichere Clusterkonnektivität in Ihrem Arbeitsbereich aktivieren, in dem VNet-Injektion verwendet wird, empfiehlt Databricks, dass Ihr Arbeitsbereich über eine stabile öffentliche IP-Adresse für ausgehenden Datenverkehr verfügt. Diese öffentliche IP-Adresse und alle anderen IP-Adressen müssen in einer Zulassungsliste vorhanden sein. Weitere Informationen finden Sie unter Ausgehende IP-Adressen bei Verwendung der sicheren Clusterkonnektivität. Wenn Sie ein von Azure Databricks verwaltetes VNet verwenden und das verwaltete NAT-Gateway für den Zugriff auf öffentliche IP-Adressen konfigurieren, müssen diese IP-Adressen in einer Zulassungsliste enthalten sein.

Siehe Konfigurieren von IP-Zugriffslisten für Arbeitsbereiche.

OAuth wird in Lakehouse Federation for Snowflake unterstützt.

24. Mai 2024

In Unity Catalog können Sie jetzt Snowflake-Verbindungen mit OAuth erstellen. Weitere Informationen finden Sie unter Ausführen von Verbundabfragen auf Snowflake.

Massenverschiebung und -löschung von Arbeitsbereichsobjekten aus dem Arbeitsbereichsbrowser

24. Mai 2024

Sie können jetzt mehrere Elemente im Arbeitsbereich auswählen, um sie zu verschieben oder zu löschen. Wenn mehrere Objekte ausgewählt sind, wird eine Aktionsleiste angezeigt, die über Optionen zum Verschieben oder Löschen von Elementen verfügt. Zudem können Sie mehrere Elemente mit der Maus auswählen und an eine neue Position ziehen. Vorhandene Berechtigungen für Objekte gelten bei Massenverschiebungs- und Massenlöschvorgängen weiterhin.

Unity Catalog-Objekte sind in den Listen Ihrer zuletzt verwendeten Objekte und in Ihren Favoriten verfügbar.

23. Mai 2024

Sie können jetzt Unity Catalog-Objekte wie Kataloge und Schemas in Ihrer Liste der zuletzt verwendeten Objekte finden. Sie können auch Unity Catalog-Objekte im Katalog-Explorer und im Schemabrowser favorisieren und favorisierte Objekte auf der Willkommensseite des Arbeitsbereichs suchen.

Der neue DBT-Databricks-Konnektor 1.8.0 übernimmt die entkoppelte DBT-Architektur

23. Mai 2024

Der DBT-Databricks-Konnektor 1.8.0 ist die erste Version, die die neue entkoppelte DBT-Architektur übernimmt. Anstelle der Abhängigkeit von dbt-core hängt der Konnektor jetzt von einer freigegebenen Abstraktionsebene zwischen dem Adapter und dbt-core ab. Deshalb müssen Kunden keine Versionen für beide Bibliotheken mehr angeben. Daher muss der Konnektor die Databricks-Featureversion nicht mehr an dbt-core angleichen und kann die semantische Versionsverwaltung übernehmen. Dies bedeutet, dass Entwickler von Konnektoren wichtige Funktionen wie Compute-pro-Modell nicht mehr als Patches veröffentlichen müssen.

Darüber hinaus bietet dieses Release die folgenden Vorteile:

  • Verbesserungen an der Deklaration und an der Funktionsweise von materialisierten Sichten und Streamingtabellen, einschließlich der Möglichkeit, automatische Aktualisierungen zu planen.
  • Unterstützung von Tags für sicherungsfähige Unity Catalog-Objekte. Zur Unterscheidung von DBT-Tags, bei denen es sich um Metadaten handelt, die häufig zum Auswählen von Modellen in einem DBT-Vorgang verwendet werden, werden diese Tags in der Modellkonfiguration als databricks_tags benannt.
  • Mehrere Verbesserungen der Verarbeitungsleistung für Metadaten.

Neue Compliance- und Sicherheitseinstellungen-APIs (Public Preview)

23. Mai 2024

Databricks hat neue APIs für das Compliancesicherheitsprofil, eine verbesserte Sicherheitsüberwachung und automatische Clusteraktualisierungseinstellungen in Arbeitsbereichen vorgestellt. Thema

Databricks Runtime 15.2 ist allgemein verfügbar

22. Mai 2024

Databricks Runtime 15.2 und Databricks Runtime 15.2 ML sind jetzt allgemein verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 15.2 und unter Databricks Runtime 15.2 für Machine Learning.

Neuer Tableau-Connector für Delta-Freigabe

22. Mai 2024

Der neue Tableau Delta-Freigabe-Connector vereinfacht den Tableau Desktop-Zugriff auf Daten, die mit dem offenen Freigabeprotokoll Delta Sharing für Sie freigegeben wurden. Weitere Informationen finden Sie unter Tableau: Lesen freigegebener Daten.

Neue Beispiele für das Deep Learning-Empfehlungsmodell

22. Mai 2024

Databricks hat zwei neue Beispiele veröffentlicht, die moderne Deep Learning-Empfehlungsmodelle veranschaulichen, darunter das Zweiturmmodell und das DLRM von Meta. Weitere Informationen zu Deep Learning-Empfehlungsmodellen finden Sie unter Trainieren von Empfehlungsmodellen.

Binden von Speicheranmeldeinformationen und externen Speicherorten an bestimmte Arbeitsbereiche (Public Preview)

22. Mai 2024

Sie können jetzt Speicheranmeldeinformationen und externe Speicherorte an bestimmte Arbeitsbereiche binden und so den Zugriff auf diese Objekte von anderen Arbeitsbereichen verhindern. Dieses Feature ist besonders hilfreich, wenn Sie Arbeitsbereiche verwenden, um den Benutzerdatenzugriff zu isolieren – beispielsweise, wenn Sie über separate Produktions- und Entwicklungsarbeitsbereiche oder über einen dedizierten Arbeitsbereich für den Umgang mit vertraulichen Daten verfügen.

Weitere Informationen finden Sie unter (Optional) Zuweisen eines externen Speicherorts zu bestimmten Arbeitsbereichen und (Optional) Zuweisen von Speicheranmeldeinformationen zu bestimmten Arbeitsbereichen.

Git-Ordner sind GA

22. Mai 2024

Git-Ordner sind jetzt allgemein verfügbar. Weitere Informationen finden Sie unter Git-Integration für Databricks-Git-Ordner. Wenn Sie die frühere Funktion „Repos“ verwendet haben, lesen Sie Was ist mit Databricks Repos passiert?.

Vortrainierte Modelle in Unity Catalog (Public Preview)

21. Mai 2024

Databricks umfasst jetzt eine Auswahl von qualitativ hochwertigen, vortrainierten GenAI-Modellen in Unity Catalog. Diese vortrainierten Modelle ermöglichen ihnen den Zugriff auf modernste KI-Funktionen für Ihre Rückschlussworkflows und sparen Ihnen die Zeit und die Kosten für die Erstellung eigener Modelle. Weitere Informationen finden Sie unter Vortrainierte Modelle in Unity Catalog und Marketplace.

Mosaic AI-Vektorsuche ist GA

21. Mai 2024

Mosaic AI-Vektorsuche ist jetzt allgemein verfügbar. Siehe Mosaic AI-Vektorsuche.

AutoVervollständigen im Databricks-Assistenten (Public Preview)

20. Mai 2024

Die AutoVervollständigen-Funktion des Databricks-Assistenten bietet während der Eingabe in Notebooks, Abfragen und Dateien KI-gestützte Vorschläge in Echtzeit. Um diese Funktion zu aktivieren, wechseln Sie zu Einstellungen>Entwickler>Experimentelle Features, und schalten Sie AutoVervollständigen im Databricks-Assistenten um. Ausführliche Informationen finden Sie unter KI-basiertes AutoVervollständigen.

Meta Llama 3-Unterstützung in Foundation Model Training

20. Mai 2024

Foundation Model Training unterstützt jetzt Meta Llama 3. Siehe Foundation Model Fine-Tuning.

Neue Änderungen an der Benutzeroberfläche des Git-Ordners

17. Mai 2024

Möglicherweise bemerken Sie einige Änderungen an der Benutzeroberfläche für Git-Ordnerinteraktionen. Wir haben Folgendes hinzugefügt:

  • Wenn Sie einen Git-Ordner freigeben, wird eine neue Benachrichtigung in einem Banner angezeigt, in der Sie aufgefordert werden, den Link zum Erstellen eines Git-Ordners zu kopieren. Wenn Sie auf die Schaltfläche klicken, wird eine URL in die lokale Zwischenablage kopiert, die Sie an einen anderen Benutzer senden können. Wenn dieser Empfängerbenutzer diese URL in einem Browser lädt, wird der Benutzer zum Arbeitsbereich weitergeleitet, in dem er seinen eigenen Git-Ordner erstellen kann, der aus demselben Remote-Git-Repository geklont wird. Wenn der Empfänger auf die URL zugreift, wird in der Benutzeroberfläche das Dialogfeld Git-Ordner erstellen angezeigt, das bereits mit den Werten aus Ihrem Git-Ordner gefüllt ist.

    Klicken Sie auf die Schaltfläche „Link zu Git-Ordner kopieren“, um die Git-Repositorykonfiguration für den Ordner für einen anderen Benutzer in Ihrer Databricks-Organisation freizugeben.

  • Ebenso erscheint eine neue Schaltfläche, Git-Ordner erstellen, in einem neuen Benachrichtigungsbanner, wenn Sie einen Git-Ordner anzeigen, der von einem anderen Benutzer erstellt wurde. Klicken Sie auf diese Schaltfläche, um Ihren eigenen Git-Ordner für dasselbe Git-Repository zu erstellen, basierend auf den vorgefüllten Werten im Dialogfeld Git-Ordner erstellen.

    Wenn Sie den Git-Ordner eines anderen Benutzers anzeigen, klicken Sie im Banner auf die Schaltfläche „Git-Ordner erstellen“, um eine Kopie dieses Ordners in Ihrem eigenen Arbeitsbereich zu erstellen.

Foundation Model-Training (Public Preview)

13. Mai 2024

Databricks unterstützt jetzt das Foundation Model-Training. Beim Foundation Model-Training verwenden Sie Ihre eigenen Daten, um ein Basismodell anzupassen und seine Leistung für Ihre spezifische Anwendung zu optimieren. Durch die Optimierung oder das fortlaufende Training eines Basismodells können Sie Ihr eigenes Modell mit deutlich weniger Daten, Zeit und Rechenressourcen trainieren, als ein Modell von Grund auf neu zu trainieren. Die Trainingsdaten, Prüfpunkte und optimierten Modelle befinden sich alle auf der Databricks-Plattform und sind in ihre Governance- und Produktivitätstools integriert.

Ausführliche Informationen finden Sie unter Foundation Model Fine-Tuning.

Benutzer:innen können jetzt Daten aus Ergebnistabellen in die Zwischenablage kopieren.

9. Mai 2024

Administrator:innen können jetzt für Benutzer:innen die Möglichkeit aktivieren oder deaktivieren, Daten aus Ergebnistabellen in ihre Zwischenablage zu kopieren. Zuvor war dieses Feature auf Notebooks beschränkt. Diese Einstellung gilt nun für die folgenden Schnittstellen:

  • Notebooks
  • Dashboards
  • Genie Spaces
  • Katalog-Explorer
  • Datei-Editor
  • SQL-Editor

Attributtagwerte für Unity Catalog-Objekte können jetzt 1000 Zeichen lang sein (öffentliche Vorschau)

8. Mai 2024

Attributtagwerte im Unity-Katalog können jetzt bis zu 1000 Zeichen lang sein. Der Zeichengrenzwert für Tagtasten bleibt 255. Weitere Informationen finden Sie unter Anwenden von Tags auf sicherungsfähige Unity Catalog-Objekte.

Seite "Neue Vorschau"

8. Mai 2024

Aktivieren und verwalten Sie den Zugriff auf Databricks-Vorschauen auf der neuen Vorschauseite. Weitere Informationen finden Sie unter Verwalten von Azure Databricks Previews.

8. Mai 2024

Zu den neuen Funktionen gehören:

Siehe Mosaic AI-Vektorsuche.

Passthrough für Anmeldeinformationen und die Hive-Metastore-Tabellenzugriffssteuerung sind veraltet

7. Mai 2024

Passthrough für Anmeldeinformationen und die Hive-Metastore-Tabellenzugriffssteuerung sind auf Databricks Runtime 15.0 veraltet, und die Unterstützung wird in einer zukünftigen DBR-Version entfernt.

Nehmen Sie ein Upgrade auf Unity Catalog vor, um die Sicherheit und Governance Ihrer Daten durch die Bereitstellung eines zentralen Ortes zum Verwalten und Überwachen des Datenzugriffs über mehrere Arbeitsbereiche in Ihrem Konto hinweg zu vereinfachen. Siehe Was ist Unity Catalog?.

Databricks-JDBC-Treiber 2.6.38

6. Mai 2024

Wir haben die Version 2.6.38 des Databricks-JDBC-Treibers veröffentlicht (Download). Mit diesem Release werden die folgenden neuen Features und Verbesserungen hinzugefügt:

  • Es werden native parametrisierte Abfragen unterstützt, wenn der Server SPARK_CLI_SERVICE_PROTOCOL_V8verwendet. Das Limit für die Anzahl der Parameter in einer Abfrage im nativen Abfragemodus ist 256.
  • Die Datenerfassung erfolgt mithilfe einer Unity Catalog-Volumeunterstützung. Weitere Informationen über Unity Catalog finden SIe unter Herstellen einer Verbindung mit Cloudobjektspeichern mithilfe von Unity Catalog. Zum Verwenden legen Sie UseNativeQuery auf 1 fest.
  • Es wurde eine QueryProfile-Schnittstelle zu IHadoopStatement hinzugefügt, die es Anwendungen ermöglicht, die query id einer Abfrage abzurufen. Die query id kann verwendet werden, um die Metadaten der Abfrage mithilfe von Databricks-REST-APIs abzurufen.
  • Es stehen asynchrone Vorgänge für Metadaten-Thrift-Aufrufe zur Verfügung, wenn der Server SPARK_CLI_SERVICE_PROTOCOL_V9 verwendet. Wenn Sie diese Funktion verwenden möchten, legen Sie die EnableAsyncModeForMetadataOperation auf 1 fest.
  • JWT-Assertion wird unterstützt. Der Connector unterstützt jetzt JWT-Assertion-OAuth mithilfe von Clientanmeldeinformationen. Legen Sie dazu die Eigenschaft UseJWTAssertion auf 1 fest.

Darüber hinaus werden durch dieses Release folgende Probleme behoben:

  • Updates für Jackson-Bibliotheken. Der Connector verwendet jetzt die folgenden Bibliotheken für den Jackson JSON-Parser: jackson-annotations 2.16.0 (zuvor 2.15.2), jackson-core 2.16.0 (zuvor 2.15.2), jackson-databind-2.16.0 (zuvor 2.15.2)
  • Der Connector enthält nicht abgeschirmte Klassendateien im META-INF-Verzeichnis.

Firewallunterstützung für das Speicherkonto eines Arbeitsbereichs allgemein verfügbar

6. Mai 2024

Wenn Sie einen neuen Azure Databricks-Arbeitsbereich erstellen, wird ein Azure-Speicherkonto in einer verwalteten Ressourcengruppe erstellt. Hierbei handelt es sich um das sogenannte Speicherkonto des Arbeitsbereichs. Sie können jetzt eine Firewall aktivieren, um den Zugriff auf Ihr Speicherkonto des Arbeitsbereichs auf autorisierte Ressourcen und Netzwerke zu beschränken. Siehe Aktivieren der Firewallunterstützung für Ihr Speicherkonto für einen Arbeitsbereich.

Databricks Runtime 15.2 (Betaversion)

2. Mai 2024

Databricks Runtime 15.2 und Databricks Runtime 15.2 ML sind jetzt als Beta-Releases verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 15.2 und unter Databricks Runtime 15.2 für Machine Learning.

Notebooks erkennen jetzt Spaltennamen und schließen Sie automatisch für Spark Connect DataFrames ab

1. Mai 2024

Databricks-Notebooks erkennen und zeigen jetzt automatisch die Spaltennamen in Spark Connect DataFrames an und ermöglichen es Ihnen, Spalten automatisch zu markieren.