August 2024

Diese Features und Azure Databricks-Plattformverbesserungen wurden im August 2024 veröffentlicht.

Überwachen der Verwendung des Unity Catalog-Objekts auf Kontingente mithilfe der neuen Ressourcenkontingent-APIs

30. August 2024

Mit den neuen Ressourcenkontingent-APIs können Sie die Verwendung von sicherungsfähigen Unity-Katalog-Objekten anhand von Ressourcenkontingenten überwachen. Bald können Sie auch E-Mail-Benachrichtigungen empfangen, wenn Sie Kontingentbeschränkungen erreichen. Weitere Informationen finden Sie unter Überwachen der Verwendung von Unity-Katalogressourcenkontingenten und der API-Referenz für Ressourcenkontingente.

Modellausmusterungen „MPT 7B Instruct“ und „MPT 30B Instruct“

30. August 2024

Die MPT 7B-Struktur- und MPT 30B-Strukturmodelle sind jetzt ausgemustert. Informationen zu empfohlenen Ersatzmodellen finden Sie unter Eingestellte Modelle.

AskSupport wurde ersetzt durch den Azure Databricks-Assistenten

29. August 2024

AskSupport, der auf Slack basierende Databricks-Supportkanal, wurde durch den Databricks-Assistenten ersetzt, der in Ihrem Databricks-Arbeitsbereich verfügbar ist. Verwenden Sie den Databricks-Assistenten, um nach technischer Dokumentation zu suchen, Tickets zu erstellen und kontextbezogene Unterstützung zu erhalten.

Zum Nutzen des KI-Assistenten muss der KI-Assistent in Ihrer Kontokonsole aktiviert sein.

Importierbares Cost Management-Dashboard zur Kontokonsole hinzugefügt (Public Preview)

28. August 2024

Kontoadministratoren können jetzt ein anpassbares Cost Management-Dashboard aus der Kontokonsole in einen beliebigen Unity Catalog-Arbeitsbereich in ihrem Konto importieren. Es gibt zwei Versionen des Dashboards: eine davon überwacht die die kontoweite Nutzung und die andere die Nutzung eines einzelnen Arbeitsbereichs.

Lakeflow-Systemtabellen werden um zusätzliche Spalten erweitert

23. August 2024

Die Tabellen im system.lakeflow-Schema werden um zusätzliche Spalten erweitert. Es wurden folgende Änderungen vorgenommen:

• jobs wird um die Spalte description erweitert.
• job_run_timeline wird um die Spalten run_type, run_name, compute_ids, termination_code und job_parameters erweitert.
• job_task_run_timeline wird um die Spalten job_run_id, parent_run_id und termination_code erweitert.

Die Schemaänderung verursacht keinen Ausfall und unterbricht Ihre bestehenden Workflows nicht. Die neuen Spalten werden für bereits ausgegebene Zeilen nicht aufgefüllt. Weitere Informationen finden Sie unter Auftragssystemtabellenreferenz.

Hervorhebungen bei Python-Codeformatierungsfehlern

23. August 2024

Python-Code in Notebooks und Datei-Editoren kann Formatierungsfehler und Warnungen wie unerwartete Einzüge, lange Zeilenlänge und vieles mehr hervorheben. Siehe Python-Formatierungsmarkierung.

Delta Sharing: Weitere Delta Lake-Features werden jetzt von den Python- und Power BI-Connectors unterstützt

21. August 2024

Delta Sharing-Connector für Python 1.1.0+ und Power BI v2.132.908.0+ unterstützen jetzt:

• Spaltenzuordnungsmodus über den Namen
• Löschvektoren
• Einheitliches Format

Diese Delta Lake-Features wurden auf Databricks Runtime 14.1+ und Open-Source Delta Sharing Apache Spark Connector 3.1+ bereits unterstützt.

Siehe Unterstützungsmatrix für Delta Lake-Features.

Delta Sharing nimmt Unterstützung für TimestampNTZ auf

21. August 2024

Delta Sharing nimmt Unterstützung für TimestampNTZ für Databricks Runtime 14.1 und höher sowie Open-Source-Delta Sharing-Connector für Apache Spark 3.3 und höher auf.

Siehe Unterstützungsmatrix für Delta Lake-Features.

Die Aufgabe For each für Azure Databricks-Aufträge ist GA

21. August 2024

Die Aufgabe For each ist jetzt allgemein verfügbar. Sie können die Aufgabe For each verwenden, um eine andere Aufgabe in einer Schleife auszuführen, und dabei einen anderen Satz von Parametern an jede Iteration der Aufgabe übergeben. Die Aufgabe For each kann alle Standardauftragsaufgaben durchlaufen, z. B. ein Notebook, JAR, Python-Skript oder SQL-Aufgabe. Siehe Ausführen einer parametrisierten Azure Databricks-Auftragsaufgabe in einer Schleife.

Azure RBAC-Berechtigung für Arbeitsbereichsadministratoren

20. August 2024

Zuvor war die integrierte Azure RBAC (rollenbasierte Zugriffssteuerung) Mitwirkender- oder Besitzer-Rolle erforderlich, um einem Benutzer die Azure Databricks Workspace Admin-Rolle von Azure zu gewähren. Sie können jetzt eine benutzerdefinierte Azure RBAC-Rolle erstellen, die über die Berechtigung Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action verfügt, einem Benutzer die Administratorrolle des Azure Databricks-Arbeitsbereichs zu erteilen. Diese Benutzer können ihren Azure Databricks-Dienst verwalten und die Diagnoseprotokollierung konfigurieren. Weitere Informationen finden Sie unter Erforderliche Azure-Administratorberechtigungen.

Databricks Runtime 15.4 LTS ist allgemein verfügbar

19. August 2024

Databricks Runtime 15.4 LTS und Databricks Runtime 15.4 LTS ML sind jetzt allgemein verfügbar.

Siehe Databricks Runtime 15.4 LTS und Databricks Runtime 15.4 LTS für Machine Learning.

Personalisiertes AutoVervollständigen von Notebooks

19. August 2024

Das AutoVervollständigen von Notebooks priorisiert jetzt Vorschläge basierend auf Ihren individuellen Metadaten und Ihrer Nutzung von Unity Catalog und stellt individuelle Vorschlagsranglisten für jeden Benutzer bereit. Siehe Personalisiertes AutoVervollständigen

Konfigurieren des Standardzugriffsmodus Ihres Arbeitsbereichs für Jobs Compute

16. August 2024

Arbeitsbereichsadministratoren können jetzt den Standardzugriffsmodus für Jobs Compute in ihrem Arbeitsbereich konfigurieren. Dieser Standardzugriffsmodus wird auf Computeressourcen ohne definierten Zugriffsmodus angewendet. Weitere Informationen finden Sie unter Standardzugriffsmodus für Jobs Compute.

Neue Schrägstrich-Befehle für den Databricks-Assistenten

14. August 2024

Im Databricks-Assistenten sind die folgenden Schrägstrich-Befehle als Verknüpfungen für gängige Aufgaben hinzugekommen:

• /findTables: Sucht nach relevanten Tabellen auf der Basis von Unity Catalog-Metadaten.
• /findQueries: Sucht nach relevanten Abfragen auf der Basis von Unity Catalog-Metadaten.
• /prettify: Formatiert Code für bessere Lesbarkeit.
• /rename: Schlägt je nach Kontext aktualisierte Namen für Notebook-Zellen und andere Elemente vor.
• /settings: Passt Ihre Notebook-Einstellungen direkt über den Assistenten an.

Weitere Informationen finden Sie unter Verwenden von Schrägstrich-Befehlen für Prompts.

Die Arbeitsbereichssuche unterstützt jetzt Volumes

14. August 2024

Volumes werden jetzt in die Suchergebnisse einbezogen. Weitere Informationen finden Sie unter Suchen nach Arbeitsbereichsobjekten.

Meta Llama 3.1 405B Modelle unterstützt in Foundation Model Fine-Tuning

14. August 2024

Meta Llama 3.1 405B Modelle werden jetzt in Foundation Model Fine-Tuning unterstützt. Weitere Informationen finden Sie unter Unterstützte Modelle.

Databricks-JDBC-Treiber 2.6.40

13. August 2024

Databricks-JDBC-Treiber der Version 2.6.40 steht jetzt als JDBC-Treiber-Download zur Verfügung. Dieses Release beseitigt redundante WARNING-Protokollmeldungen und verbessert damit die Benutzerfreundlichkeit und Sicherheit der Protokollierung.

Dieses Release umfasst die folgenden neuen Features und Verbesserungen:

• Unterstützung des OIDC-Ermittlungsendpunkts. Der Treiber kann jetzt einen OIDC-Ermittlungsendpunkt festlegen, um ein Token und einen Autorisierungsendpunkt abzurufen.
• Aktualisierte Arrow-Unterstützung. Der Treiber verwendet jetzt Apache Arrow, Version 14.0.2. Frühere Versionen des Treibers verwendeten Apache Arrow, Version 9.0.0.
• Unterstützung von ProxyIgnoreList Der Treiber unterstützt jetzt die Eigenschaft ProxyIgnoreList, wenn UseProxy auf 1 festgelegt ist.
• Unterstützung des Aktualisierungstokens. Der Treiber unterstützt jetzt ein optionales Aktualisierungstoken. Das Zugriffstoken wird gespeichert und für neue Verbindungen wiederverwendet, solange es gültig ist. Wenn der Treiber das Zugriffstoken nicht mithilfe des Aktualisierungstokens verlängern kann, erfolgt eine erneute Anmeldung.
• Hinzufügen von Authentifizierungsunterstützung. Der Treiber unterstützt jetzt die Authentifizierung mit browserbasierten Anmeldedaten (U2M) und Clientanmeldedaten (M2M) in Google Cloud.
• Aufnahme vereinheitlichter Standard-OAuth-Optionen.
• Sie können nun den OAuth-Weiterleitungsport konfigurieren. Legen Sie dazu die Eigenschaft OAuth2RedirectUrlPort auf Ihren Port fest.

Vollständige Konfigurationsinformationen finden Sie im Databricks JDBC-Treiberhandbuch, das mit dem Treiberdownloadpaket installiert wird.

Sperrung persönlicher Databricks-Zugriffstoken, die nach 90 Tagen nicht verwendet werden

13. August 2024

Databricks widerruft jetzt automatisch alle persönlichen Zugriffstoken (PATs), die in 90 oder mehr Tagen nicht verwendet wurden. Weitere Informationen finden Sie unter Überwachen und Widerrufen von persönlichen Zugriffstoken.

Cluster-API unterstützt jetzt Partielle Konfigurationsupdates

13. August 2024

Mit einem neuen API-Aufruf können Sie eine Clusterkonfiguration teilweise aktualisieren und müssen dabei nur die Attribute angeben, die Sie aktualisieren möchten. Siehe Aktualisieren der Clusterkonfiguration (partiell) in der REST API-Referenz.

Zeilenumbruch in Notebook-Zellen

12. August 2024

Sie können jetzt den Zeilenumbruch in Notebook-Zellen aktivieren oder deaktivieren, sodass Text entweder in mehrere Zeilen umbrochen oder auf einer einzelnen Zeile mit horizontalem Bildlauf verbleibt. Siehe Zeilenumbruch.

Geben Sie Spalten an, die für die Mosaik-KI-Vektorsuche synchronisiert werden sollen

12. August 2024

Sie können jetzt eine Teilmenge von Spalten in einer Tabelle angeben, die in einem Vektorsuchindex verwendet werden soll. Die Primärschlüsselspalte und die Einbettungsspalte werden immer synchronisiert. Siehe Erstellen und Abfragen eines Vektorsuchindex.

Dateien können in Arbeitsbereichsordnern keine gleichen Namen mehr haben

9. August 2024

Databricks verhindert jetzt das Erstellen oder Umbenennen von Ressourcen in Arbeitsbereichsordnern, wenn der Name einer Ressource unter Berücksichtigung der Dateierweiterung der Ressource exakt mit dem Namen einer anderen Datei übereinstimmt. Sie können z. B. keine Datei mit dem Namen test.py mehr erstellen, wenn bereits ein Notebook mit dem Basisnamen test und der Erweiterung .py im selben Arbeitsbereichsordner vorhanden ist.

Weitere Details finden Sie unter Benennen von Ressourcen in Arbeitsbereichsordnern.

Computerichtlinienerzwingung jetzt verfügbar

8. August 2024

Mit der Erzwingung der Richtlinieneinhaltung können Arbeitsbereichsadministratoren die Computeressourcen ihres Arbeitsbereichs so aktualisieren, dass sie die neueste Version einer Richtlinie einhalten. Dieses Feature kann über die Benutzeroberfläche oder die Clusterrichtlinien-API verwendet werden.

Weitere Informationen finden Sie unter Erzwingen der Richtlinieneinhaltung oder Clusterrichtlinien-API.

Foundation Model-APIs (Pay-per-Token) sind jetzt GA

7. August 2024

Foundation Model-APIs (Pay-per-Token) sind jetzt allgemein verfügbar. Weitere Informationen finden Sie unter Foundation Model-APIs mit Pay-per-Token.

Sichere und private Zusammenarbeit an Datenprojekten mithilfe von Databricks Clean Rooms (Public Preview)

6. August 2024

Databricks-Reinräume verwenden Delta Sharing und serverloses Computing, um eine sichere und datenschutzfreundliche Umgebung bereitzustellen, in der mehrere Parteien vertrauliche Unternehmensdaten teilen und zusammenarbeiten können, ohne direkten Zugriff auf die Daten der anderen Partei zu haben.

Mit Reinräumen können Benutzer aus anderen Databricks-Konten zusammenarbeiten, um einzigartige Einblicke zu freigegebenen Projekten zu generieren, z. B. Werbekampagnen, Investitionsentscheidungen oder Forschung und Entwicklung, ohne vertrauliche Daten zu verschieben oder offen zu legen. Führen Sie komplexe Arbeitslasten in einer kurzlebigen Umgebung mit jeder Sprache aus, die von Databricks-Notebooks unterstützt wird, einschließlich Python, das systemeigene Unterstützung für Machine Learning-Workloads bietet.

Wenden Sie sich an Ihren Azure Databricks-Ansprechpartner, um es auszuprobieren.

Siehe Was sind Azure Databricks-Reinräume?.

Mosaik AI-Vektorsuche jetzt HIPAA-konform

6. August 2024

Die Mosaik AI-Vektorsuche ist jetzt in allen Regionen HIPAA-konform.

Formatieren von Spalten in Notebooks und Abfrageergebnistabellen

6. August 2024

Passen Sie Ihre Ergebnistabellen mit Spaltenformatierungsoptionen wie Währung, Prozentsatz, URL, Kontrolle über Dezimalstellen und mehr so an, dass sie besser lesbar sind. See Formatieren von Spalten.

Zeilenfilter und Spaltenmasken jetzt allgemein verfügbar mit Verbesserungen

6. August 2024

Die Möglichkeit zum Anwenden von Zeilenfiltern und Spaltenformaten auf Tabellen ist jetzt allgemein in Databricks Runtime 12.2 und höher verfügbar. Zeilenfilter und Spaltenmasken verhindern den Zugriff auf vertrauliche Daten durch bestimmte Benutzer. Diese Filter und Masken werden als benutzerdefinierte SQL-Funktionen (UDFs) implementiert. GA bietet Unterstützung für die folgenden Funktionen, die in der Public Preview nicht verfügbar waren:

• Konstantausdrücke in Richtlinienparametern (Zeichenfolgen, numerische Werte, Intervalle, boolesche Werte, NULL).

• Materialisierte Ansichten und Streamingtabellen (Public Preview).

• MERGE-Anweisungen.

• Stichprobenentnahme der Tabelle.

Die separate Freigabe der Unterstützung für die feinkörnige Zugriffssteuerung für die Berechnung einzelner Benutzer erweitert auch Computeoptionen für die Arbeit an Tabellen mit angewendeten Zeilenfiltern und Spaltenmasken.

Siehe Filtern vertraulicher Tabellendaten mit Zeilenfiltern und Spaltenmasken.

Lakehouse Federation ist allgemein verfügbar (Generally Available, GA)

1. August 2024

In Databricks Runtime 15.2 und höher und Databricks SQL-Version 2024.30 und höher sind Lakehouse-Partnerverbund-Connectors für die folgenden Datenbanktypen allgemein verfügbar (GA):

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

In diesem Release werden auch die folgenden Verbesserungen eingeführt:

• Unterstützung der SSO-Authentifizierung (Single Sign-On) in den Snowflake- und Microsoft SQL Server-Connectors.

• Azure Private Link-Unterstützung für den SQL Server-Connector aus Umgebungen für serverloses Computing. Weitere Informationen finden Sie unter Schritt 3: Erstellen von Regeln für den privaten Endpunkt.

• Unterstützung für zusätzliche Pushdowns (Zeichenfolge, Mathematik und verschiedene Funktionen).

• Verbesserte Pushdown-Erfolgsrate für verschiedene Abfrageformen.

• Zusätzliche Pushdown-Debuggingfunktionen:

  • Die Ausgabe EXPLAIN FORMATTED zeigt den Abfragetext an, für den ein Pushdown ausgeführt wurde.
  • Die Benutzeroberfläche des Abfrageprofils zeigt den Abfragetext, für den ein Pushdown ausgeführt wurde, Verbundknoten-IDs und Ausführungszeiten von JDBC-Abfragen (im ausführlichen Modus) an. Siehe Anzeigen der vom System generierten Verbundabfragen.