September 2023

Diese Features und Verbesserungen der Azure Databricks-Plattform wurden im September 2023 veröffentlicht.

Lakehouse Federation verfügbar auf Einzelbenutzerclustern

29. September 2023

Lakehouse Federation ist jetzt auf Einzelbenutzerclustern mit Databricks Runtime 13.1 und höher verfügbar. Nur der Verbindungsbesitzer kann Abfragen für Verbundkataloge ausführen. Weitere Informationen finden Sie unter Was ist Lakehouse Federation?.

Delegieren der Möglichkeit zum Erstellen von Speicheranmeldeinformationen in Unity Catalog

29. September 2023

Mit der neuen CREATE STORAGE CREDENTIAL-Berechtigung können Sie es Benutzern jetzt ermöglichen, Speicheranmeldeinformationen in einem Unity Catalog-Metastore zu erstellen. Siehe SPEICHERANMELDEINFORMATIONEN ERSTELLEN.

Databricks Runtime 14.1 (Betaversion)

28. September 2023

Databricks Runtime 14.1 und Databricks Runtime 14.1 ML sind jetzt als Betaversionen verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 14.1 bzw. unter Databricks Runtime 14.1 für Machine Learning.

Für LLMs in der öffentlichen Vorschau optimiertes GPU-Modell

28. September 2023

Das auf Azure Databricks bereitgestellte Modell unterstützt das Bereitstellen von PyTorch- und Tensorflow-Modellen mithilfe von GPU-Computeressourcen. Diese Funktionalität befindet sich in ausgewählten Regionen in der Public Preview und gilt auch für die GPU-Bereitstellung von Modellen, die mit den Varianten mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow und mlflow.transformers protokolliert werden. Weitere Informationen finden Sie unter GPU-Workloadtypen.

Diese Vorschau enthält auch Unterstützung der GPU-Bereitstellung, die für große Sprachmodelle optimiert ist. Weitere Informationen finden Sie unter Für große Sprachmodelle optimierte Modellbereitstellung.

Verhindern, dass Auftragsausführungen übersprungen werden, wenn Sie Parallelitätsgrenzwerte erreichen

27. September 2023 - 2. Oktober 2023

Um zu verhindern, dass Ausführungen eines Azure Databricks-Auftrags aufgrund von Parallelitätsgrenzwerten übersprungen werden, können Sie jetzt die Warteschlange für den Auftrag aktivieren. Wenn die Warteschlange aktiviert und eine Parallelitätsgrenze erreicht ist, wird der Auftrag in einer Warteschlange platziert, bis die Kapazität zum Ausführen des Auftrags verfügbar ist. Siehe Aktivieren der Warteschlange für Auftragsausführungen.

Databricks Terraform-Anbieter auf Version 1.27.0 aktualisiert

27. September 2023

Databricks Terraform-Anbieter in der Version 1.27.0 fügt owner und force_destroy zu databricks_metastore_data_access hinzu, umfasst mehrere zusätzliche Verbesserungen und Bugfixes und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 1.27.0.

Databricks CLI auf Version 0.206.0 (Public Preview) aktualisiert

27. September 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.206.0 aktualisiert. Dieses Release ermöglicht Zielüberschreibungen für Pipelinecluster in Databricks-Ressourcenbündeln, verbessert die Initialisierung der Bündelvorlagen u. v. m. Details finden Sie im Änderungsprotokoll für die Version 0.206.0.

Databricks SDK für Go auf Version 0.21.0 (Beta) aktualisiert

27. September 2023

Databricks SDK für Go Version 0.21.0 führt über ein Dutzend bahnbrechende API-Änderungen ein, fügt über ein Dutzend APIs und etwa ein Dutzend Felder hinzu. Details finden Sie im Änderungsprotokoll für die Version 0.21.0.

Rückschlusstabellen für Modellbereitstellungsendpunkte befinden sich in der Public Preview.

26. September 2023

Aktivieren Sie die Rückschlusstabellen für Ihre Modellbereitstellungsendpunkte, um eingehende Anforderungen und ausgehende Antworten an diese Endpunkte zu erfassen und als Unity Catalog-Delta-Tabelle zu protokollieren. Sie können die Daten in dieser Tabelle wiederum verwenden, um ML-Modelle zu überwachen, zu debuggen und zu verbessern. Siehe Rückschlusstabellen für Überwachungs- und Debuggingmodelle.

Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um sich für die Public Preview anzumelden.

Databricks-ODBC-Treiber 2.7.5

23. September 2023

Wir haben die Version 2.7.5 des Databricks-ODBC-Treibers veröffentlicht (Download). Mit diesem Release werden die folgenden neuen Features und Verbesserungen hinzugefügt:

• OAuth 2.0-Clientauthentifizierungserweiterung und Unterstützung der OIDC-Endpunktermittlung
• Serverseitige Verschlüsselung mit vom Kunden bereitgestellten Schlüsseln
• Timedate-Funktion
• Verbesserte Fehlermeldung für Cloud Fetch
• Sicherheitsupdates

Dieses Release löst auch die folgende Regression in 2.7.3 auf:

• Die Funktion SQLForeignKeys gibt ein leeres Ergebnis zurück, wenn die aufrufende Funktion einen Wert NULL für den Katalog der primären Tabelle oder der Fremdtabelle übergibt.

Das Release 2.7.5 gibt nun alle Primärschlüssel oder Fremdschlüssel zurück, die der verknüpften Tabelle zugeordnet sind, wenn der Katalog der anderen Tabelle auf NULL festgelegt ist.

Databricks-Erweiterung für Visual Studio Code auf Version 1.1.3 aktualisiert

21. September 2023

Die Databricks-Erweiterung für Visual Studio Code in der Version 1.1.3 fügt einige kleinere Fixes hinzu. Details finden Sie im Änderungsprotokoll für die Version 1.1.3.

Ausführen von Aufträgen als Dienstprinzipal ist allgemein verfügbar

21. September 2023

Rollen für Dienstprinzipale und die Einstellung des Auftrags zum Ausführen von Aufträgen mit der Identität des Dienstprinzipals sind jetzt allgemein verfügbar.

Siehe Rollen zum Verwalten von Dienstprinzipalen und Konfigurieren der Identität für Auftragsausführungen.

Databricks CLI auf Version 0.205.2 (Public Preview) aktualisiert

21. September 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.205.2 aktualisiert. Diese Version enthält einige kleinere Updates. Details finden Sie im Änderungsprotokoll für die Version 0.205.2.

Databricks CLI auf Version 0.205.1 (Public Preview) aktualisiert

20. September 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.205.1 aktualisiert. Dieses Release ermöglicht Zielüberschreibungen für Auftragsaufgaben in Databricks-Ressourcenbündeln und mehr. Details finden Sie im Änderungsprotokoll für die Version 0.205.1.

Databricks SDK für Go auf Version 0.20.0 (Beta) aktualisiert

20. September 2023

Databricks SDK für Go in der Version 0.20.0 fügt über ein Dutzend APIs und ein halbes Dutzend Felder hinzu, ändert einige Felder und Methoden und entfernt einige APIs. Details finden Sie im Änderungsprotokoll für die Version 0.20.0.

Databricks SDK für Python auf Version 0.9.0 (Beta) aktualisiert

20. September 2023

Databricks SDK für Python Version 0.9.0 ändert einige Methoden und Felder, fügt etwa 10 Felder und ca. 20 Datenklassen hinzu und führt zusätzliche Änderungen und Entfernungen ein. Details finden Sie im Änderungsprotokoll für die Version 0.9.0.

Databricks SDK für Python auf Version 0.7.1 (Beta) aktualisiert

20. September 2023

Databricks SDK für Python Version 0.7.1 enthält einen kleineren Fix, um die Leistung des Dateidownloads zu verbessern. Details finden Sie im Änderungsprotokoll für die Version 0.7.1.

Databricks Terraform-Anbieter auf Version 1.26.0 aktualisiert

20. September 2023

Databricks Terraform-Anbieter in der Version 1.26.0 bietet Unterstützung für Init-Skripts von Unity Catalog-Volumes, umfasst mehrere zusätzliche Verbesserungen und Bugfixes und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 1.26.0.

Databricks Connect für Databricks Runtime 14.0

20. September 2023

Databricks Connect für Databricks Runtime 14.0 unterstützt vollständiges strukturiertes Streaming (einschließlich foreachBatch) und zeitintensive Abfragen, die nach Unterbrechung erneut an die Abfrage angefügt werden.

Lakeview-Dashboards in Public Preview

20. September 2023

Lakeview-Dashboards ermöglichen Ihnen das Freigeben von Visualisierungen und Datasets mithilfe eines vereinfachten und einheitlichen Datengovernancemodells. Siehe Dashboards.

Databricks Connect V2 ist Public Preview für Scala

19. September 2023

Databricks Connect für Databricks Runtime 13.3 LTS unterstützt jetzt Scala in Public Preview, einschließlich DataFrames, Delta, strukturiertes Streaming und mehr.

Für Python wird der Abbruch von Abfragen jetzt unterstützt, und die DatabricksSession-Klasse kann jetzt in Azure Databricks-Notebooks und -Aufträgen verwendet werden.

GPU-Modell, das in der Public Preview bereitgestellt wird

19. September 2023

Das auf Azure Databricks bereitgestellte Modell unterstützt das Bereitstellen von PyTorch- und Tensorflow-Modellen mithilfe von GPU-Computeressourcen. Diese Funktionalität befindet sich in ausgewählten Regionen in der Public Preview und gilt auch für die GPU-Bereitstellung von Modellen, die mit den Varianten mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow und mlflow.transformers protokolliert werden. Weitere Informationen finden Sie unter GPU-Workloadtypen.

On-Demand-Featureberechnung jetzt im Unity-Katalog (Public Preview) verfügbar

14. September 2023

Machine Learning-Features können jetzt on-demand zur Rückschlusszeit berechnet werden. Funktionsberechnungslogik, Modelle und Daten unterliegen dem Unity-Katalog. Auf diese Weise können Modelle Features mithilfe von Eingaben berechnen, die nur zur Rückschlusszeit verfügbar sind, z. B. der aktuelle Ort eines Benutzers. Weitere Informationen finden Sie unter Compute-Features bei Bedarf mithilfe von benutzerdefinierten Python-Funktionen.

Databricks Runtime 14.0 ist allgemein verfügbar

14. September 2023

Databricks Runtime 14.0 und Databricks Runtime 14.0 ML sind jetzt allgemein verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 14.0 (EoS) bzw. unter Databricks Runtime 14.0 für Machine Learning (EoS).

Upgrade von Konto-E-Mail-Benachrichtigungen

14. September 2023

Databricks sendet keine E-Mail-Benachrichtigungen mehr, wenn Benutzer einem Azure Databricks-Konto hinzugefügt werden. Benutzer erhalten weiterhin E-Mail-Benachrichtigungen, wenn ihnen Zugriff auf einen Arbeitsbereich gewährt wird.

Databricks Terraform-Anbieter auf Version 1.25.1 aktualisiert

13. September 2023

Databricks Terraform-Anbieter in der Version 1.25.1 wurde mit kleineren Verbesserungen und Fehlerbehebungen veröffentlicht. Details finden Sie im Änderungsprotokoll für die Version 1.25.1.

Databricks SDK für Go auf Version 0.19.2 (Beta) aktualisiert

13. September 2023

Databricks SDK für Go in der Version 0.19.2 enthält einen kleineren Fix. Details finden Sie im Änderungsprotokoll für die Version 0.19.2.

Databricks CLI auf Version 0.205.0 (Public Preview) aktualisiert

13. September 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.205.0 aktualisiert. Dies ist das erste Release der Databricks CLI, das Databricks-Ressourcenbündel in der Public Preview unterstützt. Details finden Sie im Änderungsprotokoll für die Version 0.205.0.

Reservierter Speicherort für /Workspace

13. September 2023

Der Speicherort /Workspace ist jetzt reserviert. Sie können kein Verzeichnis mehr mit dem Namen /Workspace relativ zum Stammpfad in Azure Databricks definieren.

Databricks-Ressourcenbündel (Public Preview)

12. September 2023

Databricks-Ressourcenbündel (jetzt in Public Preview) ermöglichen das Ausdrücken von End-to-End-Daten-, Analyse- und ML-Projekten als Sammlung von Quelldateien. Dies vereinfacht die Anwendung bewährter Methoden für Datentechnik wie Quellcodeverwaltung, Code Review, Tests und CI/CD.

Databricks Terraform-Anbieter auf Version 1.25.0 aktualisiert

12. September 2023

Databricks Terraform-Anbieter Version 1.25.0 enthält die Ergänzung der IS_OWNER-Berechtigung für Databricks SQL Warehouses, kleinere Hotfixes, Dokumentationsupdates und mehr. Details finden Sie im Änderungsprotokoll für die Version 1.25.0.

Databricks-Erweiterung für Visual Studio Code auf Version 1.1.2 aktualisiert

12. September 2023

Die Databricks-Erweiterung für Visual Studio Code Version 1.1.2 fügt experimentelle Unterstützung für %run und # MAGIC in Azure Databricks-Notebooks hinzu, behebt Pfadprobleme mit mehreren lokalen Databricks CLI-Installationen und mehr. Details finden Sie im Änderungsprotokoll für die Version 1.1.2.

Partner Connect unterstützt Snowplow

12. September 2023

Sie können jetzt Partner Connect verwenden, um Ihren Azure Databricks-Arbeitsbereich mit Snowplow zu verbinden. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit Snowplow.

Databricks CLI auf Version 0.204.1 (Public Preview) aktualisiert

11. September 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.204.1 aktualisiert. Details finden Sie im Änderungsprotokoll für die Version 0.204.1.

Filtern vertraulicher Daten mit Zeilenfiltern und Spaltenmasken (Public Preview)

11. September 2023

Sie können jetzt Zeilenfilter und Spaltenmasken auf Tabellen anwenden, um den Zugriff auf vertrauliche Daten durch bestimmte Benutzer*innen zu verhindern. Diese Filter und Masken werden als benutzerdefinierte SQL-Funktionen (UDFs) implementiert. Siehe Filtern vertraulicher Tabellendaten mit Zeilenfiltern und Spaltenmasken.

Systemtabellen enthalten jetzt Marketplace-Schema (Public Preview)

8. September 2023

Systemtabellen enthalten jetzt ein marketplace-Schema, das Marketplace-Anbieterdaten speichert. Sie können die marketplace.listing_access_events-Tabelle abfragen, um die Consumer-Infos für Aktionen abzurufen, die an Ihren Auflistungen ausgeführt werden. Weitere Informationen finden Sie in den Referenzen zu Marketplace-Systemtabellen.

Die Preissystemtabelle ist jetzt verfügbar (Public Preview)

8. September 2023

Systemtabellen enthalten jetzt eine Preistabelle (system.billing.list_prices), in der Sie die Kosten einer SKU im Laufe der Zeit überwachen können. Diese Protokolle können Ihnen helfen, Kostenanalysen durchzuführen und Preisänderungen zu überwachen. Siehe Referenz zur Preissystemtabelle.

Databricks SDK für Go auf Version 0.19.1 (Beta) aktualisiert

7. September 2023

Databricks SDK für Go in der Version 0.19.1 setzt einige kleinere Updates und Fixes fort. Details finden Sie im Änderungsprotokoll für die Version 0.19.1.

Databricks-ODBC-Treiber 2.7.3

7. September 2023

Wir haben die Version 2.7.3 des Databricks-ODBC-Treibers veröffentlicht (Download). Dieses Release enthält die folgenden Features und Hotfixes:

• Sicherheitsrisiko-Hotfixes durch Upgrades von Drittanbieter-Abhängigkeiten.
• SQL_ATTR_MAX_ROWS-Unterstützung, mit der ein Client die Anzahl von Zeilen einschränken kann, die in einer Abfrage abgerufen werden, um das schnelle Laden (z. B. die Vorschau) zu beschleunigen.
• Aktualisierte MacOS-Unterstützung. Der Treiber unterstützt jetzt Apple Silicon/M1.
• Unterstützung der browserbasierten OAuth2-Authentifizierung, um einmaliges Anmelden (Single Sign-On, SSO) zu erleichtern.

Databricks CLI auf Version 0.204.0 (Public Preview) aktualisiert

6. September 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.204.0 aktualisiert. Dieses Release enthält die Gruppierung von Berechtigungsbefehlen, Ergänzungen und Änderungen an mehreren Befehlen und mehr. Details finden Sie im Änderungsprotokoll für die Version 0.204.0.

Data Explorer ist jetzt Katalog-Explorer.

6. September 2023

Data Explorer wird in Katalog-Explorer umbenannt, um der Tatsache Rechnung zu tragen, dass Sie damit mit allen sicherungsfähigen Objekten in Unity Catalog arbeiten können, nicht nur mit Datenobjekten. Siehe Was ist der Katalog-Explorer?.

Databricks SDK für Go auf Version 0.19.0 (Beta) aktualisiert

4. September 2023

Databricks SDK für Go in der Version 0.19.0 benennt Berechtigungs-APIs um, fügt 8 APIs und 5 Felder hinzu, ändert und entfernt einige Felder und ändert einige Methoden. Details finden Sie im Änderungsprotokoll für die Version 0.19.0.

Databricks SDK für Python auf Version 0.8.0 (Beta) aktualisiert

4. September 2023

Databricks SDK für Python Version 0.8.0 benennt Berechtigungs-APIs um, fügt ein halbes Dutzend Felder und ein halbes Dutzend Datenklassen hinzu und führt mehrere Änderungen und Entfernungen ein. Details finden Sie im Änderungsprotokoll für die Version 0.8.0.

Berechtigungen für Positivlisten im Unity-Katalog delegieren

1. September 2023

Sie können jetzt Berechtigungen zum Verwalten von Elementen in der Positivliste für den Unity-Katalog delegieren. Weitere Informationen finden Sie unter Positivliste von Bibliotheken und Initialisierungsskripts auf freigegebenem Compute.

Die Integration von GitHub-Apps in Repos ist allgemein verfügbar.

1. September 2023

Die Integration von GitHub-Apps in Repos ist allgemein verfügbar. Das Feature ermöglicht eine einfachere Verwaltung von Git-Anmeldeinformationen bei der Integration mit GitHub in Repos.