Freigeben über

November 2018

  • Artikel

Diese Features und Azure Databricks-Plattformverbesserungen wurden im November 2018 veröffentlicht.

Hinweis

Releases werden gestaffelt. Ihr Azure Databricks-Konto wird möglicherweise erst eine Woche nach dem Datum der ersten Veröffentlichung aktualisiert.

Bibliotheksbenutzeroberfläche

Wichtig

Dieses Update wurde am 7. Dezember 2018 wiederhergestellt.

27. November bis 4. Dezember 2018: Version 2.85

In dieser Version wurde die Bibliotheksbenutzeroberfläche erheblich verbessert.

Die Azure Databricks-Benutzeroberfläche unterstützt jetzt Arbeitsbereichsbibliotheken und an Cluster angefügte Bibliotheken. Eine Arbeitsbereichsbibliothek ist im Arbeitsbereich vorhanden und kann an einen oder mehrere Cluster angefügt werden. Eine an den Cluster angefügte Bibliothek ist eine Bibliothek, die nur im Kontext des Clusters vorhanden ist, an den sie angefügt ist. Außerdem haben Sie folgende Möglichkeiten:

  • Sie können jetzt eine Bibliothek aus einer Datei erstellen, die in den Objektspeicher hochgeladen wurde.
  • Sie können Bibliotheken jetzt über die Seite mit den Bibliotheksdetails und die Registerkarte Bibliotheken eines Clusters anfügen und trennen.
  • Bibliotheken, die mithilfe der API installiert wurden, werden jetzt auf der Registerkarte „Bibliotheken“ eines Clusters angezeigt.

Einstellungen für benutzerdefinierten Spark-Heapspeicher aktiviert

27. November bis 4. Dezember 2018: Version 2.85

Die folgenden Spark-Speichereinstellungen werden jetzt wirksam:

  • spark.executor.memory
  • spark.driver.memory

Wichtig

  • Azure Databricks verfügt über Dienste, die auf jedem Knoten ausgeführt werden, sodass der maximal zulässige Speicher für Spark geringer ist als die vom Cloud-Anbieter angegebene Speicherkapazität der VM. Wenn Sie Spark die maximale Menge an Heapspeicher für den Executor oder Treiber bereitstellen möchten, geben Sie spark.executor.memory bzw. spark.driver.memory nicht an.
  • Einige Clusterkonfigurationen, die zuvor ungültig waren, aber ignoriert wurden, können zu Clusterfehlern führen.

Aufträge: Entfernung von Ausführungskontexten im Leerlauf

27. November bis 4. Dezember 2018: Version 2.85

Aufträge entfernen jetzt automatisch inaktive Ausführungskontexte. Um die automatische Entfernung zu minimieren, empfiehlt Azure Databricks, dass Sie unterschiedliche Cluster für Aufträge und interaktive Arbeitslasten verwenden.

Freigabe von Databricks Runtime 5.0 für Machine Learning (Beta)

19. November 2018

Databricks Runtime 5.0 ML (Beta) bietet eine einsatzbereite Umgebung für Machine Learning und Data Science. Es umfasst mehrere gängige Bibliotheken, darunter TensorFlow, Keras und XGBoost. Außerdem unterstützt die Umgebung verteiltes TensorFlow-Training mit Horovod. Databricks Runtime 5.0 ML basiert auf Databricks Runtime 5.0. Databricks Runtime 5.0 ML enthält die folgenden neuen Features.

  • HorovodRunner für die Ausführung verteilter Deep Learning-Trainingsaufträge mit Horovod. Weitere Informationen finden Sie unter Verteiltes Training.
  • Unterstützung von Conda für die Paketverwaltung.
  • Integration von MLeap.
  • Integration von GraphFrames.

Die vollständigen Versionshinweise finden Sie unter Databricks Runtime 5.0 ML (EoS).

Freigabe von Databricks Runtime 5.0

8. November 2018

Databricks Runtime 5.0 ist jetzt verfügbar. Databricks Runtime 5.0 enthält Apache Spark 2.4.0, neue Features und Upgrades für Delta Lake und Structured Streaming sowie aktualisierte Python-, R-, Java- und Scala-Bibliotheken. Weitere Informationen finden Sie unter Databricks Runtime 5.0 (EoS).

In Databricks Runtime 5.0 werden Azure Databricks-Leerlaufausführungskontexte jetzt wieder aus dem Cluster entfernt, sobald die maximale Kontextgrenze (145) erreicht ist.

Unterstützung für uneingeschränktes Laden von Drittanbieterinhalten

November 6-13, 2018: Version 2.84

Zuvor fehlte in der displayHTML iframe-Sandbox das Attribut allow-same-origin. Dies bedeutete, dass der iframe einen Null-Ursprung hatte, der nicht für ursprungsübergreifende XHR-Anforderungen, Cookies oder den Zugriff auf eingebettete iframes benutzerfreundlich war. Mit diesem Release wird der displayHTML iframe aus einer neuen Domäne, databricksusercontent.com, bereitgestellt, und die iframe-Sandbox enthält jetzt das allow-same-origin Attribut.

Es ist nicht notwendig, die Verwendung von displayHTML zu ändern, wenn es bereits für Sie funktioniert.

databricksusercontent.com muss über Ihren Browser zugänglich sein. Wenn sie zurzeit in Ihrem Unternehmensnetzwerk blockiert ist, muss sie von der IT in die Whitelist eingefügt werden.