Unity Catalog-GA-Versionshinweise

25. August 2022

Unity Catalog ist jetzt allgemein in Azure Databricks verfügbar.

In diesem Artikel wird Unity Catalog ab dem Datum der GA-Version beschrieben. Er konzentriert sich in erster Linie auf die Features und Updates, die Unity Catalog seit der Public Preview hinzugefügt wurden. Aktuelle Informationen zu Unity Catalog finden Sie unter Was ist Unity Catalog?. Versionshinweise, die Updates für Unity Catalog seit der GA-Version beschreiben, finden Sie unter Versionshinweise zur Azure Databricks-Plattform und Versionshinweise zu Databricks Runtime-Versionen und -Kompatibilität.

Metastore-Grenzwerte und Ressourcenkontingente

Ab dem 25. August 2022

• Ihr Azure Databricks-Konto kann nur über einen Metastore pro Region verfügen.
• Ein Metastore kann bis zu 1000 Kataloge aufweisen.
• Ein Katalog kann bis zu 10.000 Schemas aufweisen.
• Ein Schema kann bis zu 10.000 Tabellen aufweisen.

Informationen zu aktuellen Unity Catalog-Kontingenten finden Sie unter Ressourcenkontingente.

Unterstützte Speicherformate für allgemeine Verfügbarkeit

Ab dem 25. August 2022:

• Alle verwalteten Unity Catalog-Tabellen speichern Daten mit Delta Lake
• Externe Unity Catalog-Tabellen und externe Speicherorte unterstützen Delta Lake-, JSON-, CSV-, Avro-, Parquet-, ORC- und Textdaten.

Informationen zu den aktuellen von Unity Catalog unterstützten Tabellenformaten finden Sie unter Dateiformatunterstützung.

Verwalten von Unity Catalog-Ressourcen über die Kontokonsole

Verwenden Sie die Benutzeroberfläche der Azure Databricks-Kontokonsole für Folgendes:

• Verwalten des Metastore-Lebenszyklus (Erstellen, Aktualisieren, Löschen und Anzeigen von Unity Catalog-verwalteten Metastores)
• Zuweisen und Entfernen von Metastores für Arbeitsbereiche

Unterstützte Clustertypen und Databricks Runtime-Versionen

Unity Catalog erfordert Cluster, die Databricks Runtime 11.1 oder höher ausführen. Unity Catalog wird standardmäßig in allen SQL-Warehouse-Computeversionen unterstützt.

Frühere Versionen von Databricks Runtime haben Vorschauversionen von Unity Catalog unterstützt. Cluster, die in früheren Versionen von Databricks Runtime ausgeführt werden, bieten keine Unterstützung für alle allgemein verfügbaren Features und Funktionen von Unity Catalog.

Unity Catalog erfordert einen der folgenden Zugriffsmodi, wenn Sie einen neuen Cluster erstellen:

• Shared
  • Sprachen: SQL oder Python
  • Ein sicherer Cluster, der von mehreren Benutzern gemeinsam genutzt werden kann. Clusterbenutzer sind vollständig isoliert, sodass sie die Daten und Anmeldeinformationen der anderen Benutzer nicht sehen können.
• Einzelner Benutzer
  • Sprachen: SQL, Scala, Python, R
  • Ein sicherer Cluster, der ausschließlich von einem angegebenen einzelnen Benutzer verwendet werden kann.

Weitere Informationen zu Clusterzugriffsmodi finden Sie unter Zugriffsmodi.

Informationen zur aktualisierten Unity Catalog-Funktionalität in späteren Databricks Runtime-Versionen finden Sie in den Versionshinweisen für diese Versionen.

Systemtabellen

information_schema wird für Unity Catalog-Datenressourcen vollständig unterstützt. Jeder Metastore enthält einen Katalog mit der Bezeichnung system, der einen Metastore mit dem Bereich information_schema enthält. Weitere Informationen finden Sie unter Informationsschema. Sie können information_schema verwenden, um Fragen wie die folgenden zu beantworten:

„Anzahl der Tabellen pro Katalog zählen“

SELECT table_catalog, count(table_name)
FROM system.information_schema.tables
GROUP BY 1
ORDER by 2 DESC

„Alle Tabellen anzeigen, die in den letzten 24 Stunden geändert wurden“

SELECT table_name, table_owner, created_by, last_altered, last_altered_by, table_catalog
FROM system.information_schema.tables
WHERE  datediff(now(), last_altered) < 1

Strukturiertes Streaming: Unterstützung

Strukturierte Streaming-Workloads werden jetzt mit Unity Catalog unterstützt. Ausführliche Informationen und Einschränkungen finden Sie unter Einschränkungen.

Weitere Informationen finden Sie auch unter Verwenden von Unity Catalog mit strukturiertem Streaming.

SQL-Funktionen

Benutzerdefinierte SQL-Funktionen werden jetzt vollständig in Unity Catalog unterstützt. Informationen zum Erstellen und Verwenden von SQL-UDFs finden Sie unter CREATE FUNCTION (SQL und Python).

SQL-Syntax für externe Speicherorte in Unity Catalog:

Die Standarddatendefinition und Befehle der Datendefinitionssprache werden jetzt in Spark SQL für externe Speicherorte unterstützt, einschließlich der folgenden:

CREATE | DROP | ALTER | DESCRIBE | SHOW EXTERNAL LOCATION

Sie können Berechtigungen auch mit GRANT, REVOKE und SHOW für externe Speicherorte mit SQL verwalten und anzeigen. Weitere Informationen finden Sie unter Externe Speicherorte.

Beispielsyntax:

CREATE EXTERNAL LOCATION <your-location-name>
  URL `<your-location-path>'
  WITH (CREDENTIAL <your-credential-name>);

GRANT READ FILES, WRITE FILES, CREATE EXTERNAL TABLE ON EXTERNAL LOCATION `<your-location-name>`
  TO `finance`;

Unity Catalog-Einschränkungen in GA-Version

Ab dem 25. August 2022 gelten für Unity Catalog die folgenden Einschränkungen. Informationen zu derzeitigen Einschränkungen finden Sie unter Einschränkungen.

• Scala, R und Workloads, die die Machine Learning Runtime verwenden, werden nur auf Clustern unterstützt, die den Einzelbenutzerzugriffsmodus verwenden. Workloads in diesen Sprachen unterstützen nicht die Verwendung dynamischer Sichten für die Sicherheit auf Zeilen- oder Spaltenebene.
• Flache Klone werden nicht unterstützt, wenn Sie Unity Catalog als Quelle oder Ziel des Klons verwenden.
• Bucketing wird für Unity Catalog-Tabellen nicht unterstützt. Wenn Sie Befehle ausführen, die versuchen, eine Buckettabelle in Unity Catalog zu erstellen, wird eine Ausnahme ausgelöst.
• Das Schreiben in denselben Pfad oder dieselbe Delta-Tabelle von Arbeitsbereichen in mehreren Regionen kann zu einer unzuverlässigen Leistung führen, wenn einige Cluster auf Unity Catalog zugreifen und andere nicht.
• Der Überschreibmodus für Dataframeschreibvorgänge in Unity Catalog wird nur für Delta-Tabellen unterstützt, nicht für andere Dateiformate. Der Benutzer muss die CREATE-Berechtigung für das übergeordnete Schema haben und Eigentümer des vorhandenen Objekts sein.
• Das Streaming hat derzeit die folgenden Einschränkungen:
  • In Clustern, die den freigegebenen Zugriffsmodus verwenden, wird es nicht unterstützt. Für Streamingworkloads müssen Sie den Zugriffsmodus für Einzelbenutzer verwenden.
  • Asynchrone Prüfpunktausführung wird noch nicht unterstützt.
  • In Databricks Runtime Version 11.2 und höher wird durch Streamingabfragen, die mehr als 30 Tage in Allzweck- oder Auftragsclustern andauern, eine Ausnahme ausgelöst. Konfigurieren Sie für Streamingabfragen mit langer Ausführungszeit automatische Auftragswiederholungsversuche, oder verwenden Sie Databricks Runtime 11.3 und höher.
• Der Verweis auf Unity Catalog-Tabellen aus Delta Live Tables-Pipelines wird derzeit nicht unterstützt.
• Zuvor in einem Arbeitsbereich erstellte Gruppen können nicht in GRANT-Anweisungen von Unity Catalog verwendet werden. Dadurch soll eine konsistente Ansicht von Gruppen sichergestellt werden, die sich über mehrere Arbeitsbereiche erstrecken kann. Um Gruppen in GRANT-Anweisungen zu verwenden, erstellen Sie Ihre Gruppen in der Kontokonsole und aktualisieren Sie alle Automatisierungen für die Prinzipal- oder Gruppenverwaltung (z. B. SCIM-, Okta- und Microsoft Entra ID-Connectors und Terraform), um auf Kontoendpunkte anstelle von Arbeitsbereichsendpunkten zu verweisen.

Verfügbarkeitsregionen von Unity Catalog in der GA-Version

Ab dem 25. August 2022 ist Unity Catalog in den folgenden Regionen verfügbar. Die Liste aller derzeit unterstützten Regionen finden Sie unter Azure Databricks-Regionen.

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus