Oktober 2023

Diese Features und Azure Databricks-Plattformverbesserungen wurden im Oktober 2023 veröffentlicht.

Serverlose sichere Konnektivität für Databricks SQL Serverless (Public Preview)

31. Oktober 2023

Mit den Tools für sichere serverlose Verbindungen können Sie den Netzwerkzugriff von serverlosen SQL-Warehouses auf Ihre Datenquellen in Azure Storage kontrollieren. Sie können entweder eine Speicherfirewall mit Subnetz-IDs auswählen oder private Konnektivität mit Azure Private Link aktivieren. Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um an der Public Preview (öffentlichen Vorschau) teilzunehmen. Weitere Informationen unter Serverless Compute Plane-Netztechnologie.

Wenn Sie Speicher-Firewalls haben, die mit Subnetz-IDs konfiguriert wurden, die in der Dokumentation zu Azure Databricks vor dem 31. Oktober 2023 aufgeführt wurden, empfiehlt Databricks, Ihre Firewall-Konfigurationen für jede Ihrer Arbeitsbereichsregionen mithilfe eines der neuen Tools zu aktualisieren. Dies kann Ihnen helfen, eine konsistente Bereitstellung für alle Arbeitsbereiche durchzuführen. Wenn Sie sich entscheiden, vorhandene Konfigurationen nicht zu aktualisieren, funktionieren Arbeitsbereiche weiterhin.

Anzeigen der YAML-Quelle für einen Azure Databricks-Auftrag

30. Oktober 2023

Sie können nun die YAML-Quelle für einen Auftrag anzeigen und kopieren, indem Sie auf der Seite mit den Auftragsdetails auf klicken und YAML/JSON anzeigen auswählen. Sie können die YAML-Quelle verwenden, um CI/CD-Workflows mit Databricks Asset Bundles zu erstellen. Weitere Informationen finden Sie unter Was sind Databricks-Ressourcenpakete?.

Hinzufügen von bedingter Logik zu Ihren Azure Databricks-Workflows

30. Oktober 2023

Sie können nun die If/else condition-Aufgabe verwenden, um Aufgaben in einem Azure Databricks-Auftrag basierend auf den Ergebnissen eines booleschen Ausdrucks bedingt auszuführen. Weitere Informationen finden Sie unter Hinzufügen von Verzweigungslogik zu einem Auftrag mit der If/Else-Aufgabe.

Konfigurieren von Parametern für einen Azure Databricks-Auftrag, auf die alle Auftragsaufgaben verweisen können

30. Oktober 2023

Sie können jetzt Ihren Azure Databricks-Aufträgen Parameter hinzufügen, die automatisch an alle Auftragsaufgaben übergeben werden, die Schlüssel-Wert-Paare akzeptieren. Siehe Konfigurieren von Auftragsparametern. Darüber hinaus können Sie jetzt einen erweiterten Satz von Wertverweisen verwenden, um Kontext und Zustand zwischen Auftragsaufgaben zu übergeben. Siehe Was ist eine dynamische Wertreferenz?

Automatische Aktivierung von Löschvektoren

30. Oktober 2023

Sie können jetzt Löschvektoren für alle neuen Delta-Tabellen in Databricks Runtime 14.0 und höher mit der Arbeitsbereichsadministratoreinstellung Löschvektoren automatisch aktivieren aktivieren. Dieses Verhalten ist derzeit opt-in, wird sich aber in Zukunft in opt-out ändern. Databricks empfiehlt, eine Option für diese Einstellung manuell zu konfigurieren. Weitere Informationen finden Sie unter Automatische Aktivierung von Löschvektoren.

Unity Catalog-Unterstützung für UNDROP TABLE ist allgemein verfügbar

25. Oktober 2023

Sie können die Löschung einer verwalteten oder externen Tabelle innerhalb von sieben Tagen nach dem Löschen in einem vorhandenen Schema rückgängig machen. Databricks Runtime 12.1 oder höher ist erforderlich. Weitere Informationen finden Sie unter UNDROP TABLE und SHOW TABLES DROPPED.

Partner Connect unterstützt Dataiku

25. Oktober 2023

Sie können jetzt Partner Connect verwenden, um Ihren Azure Databricks-Arbeitsbereich mit Dataiku zu verbinden. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit Dataiku.

Automatisch generierte Notizbücher werden jetzt als MLflow-Artefakte gespeichert.

24. Oktober 2023

Automatisch generierte Notizbücher werden jetzt als MLflow-Artefakte in allen Databricks-Runtime für Machine Learning-Versionen gespeichert.

Neue Region: Katar, Mitte

23. Oktober 2023

Azure Databricks ist jetzt in Katar, Mitte verfügbar. Weitere Informationen finden Sie unter Azure Databricks-Regionen.

Von Azure Firewall und Private Link unterstützte Unity Catalog-Volumes

23. Oktober 2023

Sie können Unity Catalog-Volumes jetzt in Verbindung mit Azure-Speicherkonten verwenden, für die Azure Firewall oder Private Link konfiguriert wurde. Dadurch enthält eine vorherige Einschränkung.

Prädiktive Optimierung (Public Preview)

24. Oktober 2023

Durch die prädiktive Optimierung entfällt die Notwendigkeit, Wartungsvorgänge für Deltatabellen manuell zu verwalten. Wartungsvorgänge werden nur nach Bedarf ausgeführt, wodurch sowohl die unnötige Ausführung von Wartungsvorgängen als auch der Aufwand für die Nachverfolgung und Problembehandlung sowie die damit zusammenhängende Leistung entfallen. Siehe Prädiktive Optimierung für verwaltete Unity Catalog-Tabellen.

Computesystemtabellen sind jetzt verfügbar (Public Preview).

23. Oktober 2023

Das system.compute-Schema enthält zwei neue Tabellen, mit deren Hilfe Sie die Computeressourcen in Ihrem Konto überwachen können: clusters und node_types.

Die Tabelle „Cluster“ ist eine sich langsam ändernde Dimensionstabelle, die den vollständigen Verlauf der Clusterkonfigurationen im Laufe der Zeit für universelle Cluster und Auftragscluster enthält. Die Tabelle „Knotentypen“ erfasst die derzeit verfügbaren Knotentypen mit ihren grundlegenden Hardwareinformationen. Wenn Sie keinen Zugriff auf diese Systemtabellen haben, vergewissern Sie sich, dass Sie das Computeschema in Ihrem Konto aktiviert haben (siehe Aktivieren von Systemtabellenschemas).

Weitere Informationen zu Computesystemtabellen finden Sie unter Computesystemtabellen-Referenz.

Bedarfsgesteuerte Featureberechnung ist GA

19. Oktober 2023

Machine Learning-Funktionen können jetzt bei Bedarf zur Rückschlusszeit berechnet werden. Auf diese Weise können Modelle Funktionen mithilfe von Eingaben berechnen, die nur zur Rückschlusszeit verfügbar sind, z. B. der aktuelle Ort eines Benutzers, oder um Funktionen zu nutzen, deren Vorberechnung, Speicherung und Aktualisierung zu kostspielig ist. Modelltrainingscode kann ein beliebiges Diagramm von Feature-Nachschlagevorgängen und Berechnungen definieren, die während des Modelltrainings und -rückschlusses ausgeführt werden.

Funktionsberechnungslogik, Modelle und Daten unterliegen dem Unity-Katalog. Weitere Informationen finden Sie unter Compute-Funktionen bei Bedarf mithilfe von benutzerdefinierten Python-Funktionen.

Feature Engineering in Unity Catalog ist GA

19. Oktober 2023

Mit Feature Engineering in Unity Catalog wird Unity Catalog zu Ihrem Featurespeicher. Sie können jede Delta-Tabelle mit einem Primärschlüssel als Featuretabelle für Modelltraining oder Rückschlüsse verwenden. Unity Catalog bietet Featureermittlung und Governance.

Von KI generierte Tabellenkommentare (Public Preview)

18. Oktober 2023

Um Sie im Rahmen der Initiative zur Verwendung von KI bei der Arbeit mit Azure Databricks zu unterstützen, wurden KI-generierte Tabellen- und Spaltenkommentare in der Public Preview eingeführt. In Catalog Explorer können Sie einen KI-generierten Kommentar für jede Tabelle oder Tabellenspalte anzeigen, bearbeiten und hinzufügen, die von Unity Catalog verwaltet wird. KI-generierte Kommentare können externe Modellpartner*innen verwenden, um Antworten bereitzustellen. An diese Dienste gesendete Daten werden nicht für das Modelltraining verwendet.

Siehe Hinzufügen von KI-generierten Kommentaren zu Unity Catalog-Objekten.

Modelle in Unity Catalog sind allgemein verfügbar (GA)

17. Oktober 2023

ML-Modelle im Unity Catalog sind jetzt allgemein verfügbar. Unity Catalog bietet zentralisierte Zugriffssteuerung, Überwachung, Herkunft, Modellfreigabe über Arbeitsbereiche hinweg und bessere MLOps-Bereitstellungsworkflows. Azure Databricks empfiehlt die Verwendung von Modellen in Unity Catalog anstelle der Modellregistrierung des Arbeitsbereichs. Details finden Sie unter Verwalten des Lebenszyklus in Unity Catalog.

Bibliotheken werden jetzt in Computerichtlinien unterstützt (Public Preview)

17. Oktober 2023

Arbeitsbereichsadministratoren können jetzt Bibliotheken zur Berechnung von Richtlinien hinzufügen. Compute, das die Richtlinie verwendet, installiert die Bibliothek automatisch. Benutzer können computebereichsbezogene Bibliotheken nicht auf dem Compute installieren oder deinstallieren, das die Richtlinie verwendet. Zuvor installierte Bibliotheken werden deinstalliert.

Databricks empfiehlt die Migration aller Bibliotheken, die mit init-Skripts installiert sind, um Computerichtlinien zu verwenden. Siehe Hinzufügen von Bibliotheken zu einer Richtlinie.

Partner Connect unterstützt Monte Carlo.

16. Oktober 2023

Sie können jetzt Partner Connect verwenden, um Ihren Azure Databricks-Arbeitsbereich mit Monte Carlo zu verbinden. Weitere Informationen finden Sie unter Verbinden von Azure Databricks mit Monte Carlo.

Semantische Suche (Public Preview)

16. Oktober 2023

Sie können nun natürliche Sprache verwenden, um Unity Catalog-Tabellen im Dialogfeld für die erweiterte Suche zu durchsuchen. Siehe Semantische Suche.

Aktivieren von Databricks Assistant auf Arbeitsbereichsebene

11. Oktober 2023

Arbeitsbereichsadministrator*innen können Databricks Assistant jetzt für einen einzelnen Arbeitsbereich aktivieren oder deaktivieren, wenn der oder die Kontoadministrator*in dies zugelassen hat. Weitere Informationen finden Sie unter Wie aktiviere ich Databricks Assistant?.

Neue Photon-Standardeinstellungen

11. Oktober 2023

Beim Erstellen eines neuen Clusters über die Benutzeroberfläche ist das standardmäßige Databricks Runtime-Modul Photon-fähig. Dies gilt sowohl für Allzweck- als auch für Auftragscluster.

Neue Cluster, die mit einer Clusterrichtlinie erstellt wurden, die photonkompatibel ist, haben Photon standardmäßig aktiviert. Eine Clusterrichtlinie ist Photon-kompatibel, wenn Databricks Runtime dies unterstützt, der Knotentyp unterstützt wird und der runtime_engine nicht explizit auf STANDARD. festgelegt ist.

Databricks Runtime 14.1 ist allgemein verfügbar

11. Oktober 2023

Databricks Runtime 14.1 und Databricks Runtime 14.1 ML sind jetzt allgemein verfügbar.

Weitere Informationen finden Sie unter Databricks Runtime 14.1 bzw. unter Databricks Runtime 14.1 für Machine Learning.

Versionshinweise für Entwicklertools wurden verschoben

10. Oktober 2023

Versionshinweise für Azure Databricks-Entwicklertools nach dem 10. Oktober 2023 werden jetzt in den Versionshinweisen für Azure Databricks-Entwicklertools und SDKs anstelle der Versionshinweise zur Azure Databricks-Plattform veröffentlicht.

Databricks-Erweiterung für Visual Studio Code auf Version 1.1.5 aktualisiert

9. Oktober 2023

Die Databricks-Erweiterung für Visual Studio Code in der Version 1.1.5 enthält einige kleinere Fixes. Details finden Sie im Änderungsprotokoll für die Version 1.1.5.

Predictive I/O für Updates ist allgemein verfügbar (GA).

9. Oktober 2023

Predictive I/O für Updates ist jetzt für Databricks Runtime 14.0 und höher allgemein verfügbar. Siehe Was ist Predictive I/O?.

Löschvektoren sind allgemein verfügbar (GA).

9. Oktober 2023

Löschvektoren sind jetzt für Databricks Runtime 14.0 und höher allgemein verfügbar. Weitere Informationen finden Sie unter Was sind Löschvektoren?.

Partner Connect unterstützt RudderStack

5. Oktober 2023

Sie können jetzt Partner Connect verwenden, um eine Verbindung zwischen Ihrem Azure Databricks-Arbeitsbereich und RudderStack herzustellen. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit RudderStack.

Databricks CLI wurde auf Version 0.207.0 (Public Preview) aktualisiert.

4. Oktober 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.207.0 aktualisiert. Dieses Release enthält Featureupdates und Fixes für Databricks-Objektbündel, nimmt Ergänzungen und Änderungen an mehreren Befehlsgruppen und Befehlen vor und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 0.207.0.

Ausführen ausgewählter Zellen in einem Notebook

4. Oktober 2023

Sie können jetzt nur ausgewählte Zellen in einem Notebook ausführen. Siehe Ausgewählte Zellen ausführen.

Verwenden der Arbeitsbereichskatalogbindung, um schreibgeschützten Zugriff auf einen Katalog zu gewähren

4. Oktober 2023

Wenn Sie die Arbeitsbereichskatalogbindung verwenden, um den Katalogzugriff auf bestimmte Arbeitsbereiche in Ihrem Konto einzuschränken, können Sie diesen Zugriff jetzt schreibgeschützt machen. Die schreibgeschützte Arbeitsbereichskatalogbindung ermöglicht Ihnen das Gewähren von schreibgeschütztem Zugriff auf Produktionsdaten aus einem Entwicklerarbeitsbereich und so Entwicklung und Tests zu ermöglichen.

Dieses Update stellt den /api/2.1/unity-catalog/workspace-bindings/-API-Endpunkt ein und ersetzt ihn durch /api/2.1/unity-catalog/bindings/.

Weitere Informationen finden Sie unter Einschränken des Katalogzugriffs auf bestimmte Arbeitsbereiche.

Databricks-Erweiterung für Visual Studio Code auf Version 1.1.4 aktualisiert

2. Oktober2023

Die Databricks-Erweiterung für Visual Studio Code Version 1.1.4, fügt Unterstützung für benutzerdefinierte URLs für Azure Databricks-Arbeitsbereiche und vieles mehr hinzu. Details finden Sie im Änderungsprotokoll für die Version 1.1.4.

Databricks SDK für Python wurde auf Version 0.10.0 (Beta) aktualisiert.

3. Oktober 2023

Databricks SDK für Python Version 0.10.0 führt 7 Breaking Changes ein, fügt 10 Datenklassen hinzu, fügt 6 Felder hinzu und fügt einen Dienst hinzu. Details finden Sie im Änderungsprotokoll für die Version 0.10.0.

Databricks SDK für Go wurde auf Version 0.22.0 (Beta) aktualisiert.

3. Oktober 2023

Databricks SDK für Go Version 0.22.0 führt einen Breaking Change bei der API ein und fügt eine API hinzu. Details finden Sie im Änderungsprotokoll für die Version 0.22.0.

Unity Catalog-Volumes befinden sich jetzt in Public Preview für Azure China

2. Oktober2023

Unity Catalog-Volumes sind jetzt als Public Preview-Feature in Azure China-Regionen verfügbar. Weitere Informationen finden Sie unter Was sind Unity Catalog-Volumes?.