Partager via

Delta Lives Tables version 2022.49

  • Article

6-9 décembre 2022

Ces fonctionnalités et améliorations ont été publiées avec la version 2022.49 de Delta Live Tables.

Versions de Databricks Runtime utilisées par cette version

Canal :

  • CURRENT (valeur par défaut) : Databricks Runtime 11.0.11
  • PREVIEW : Databricks Runtime 11.3.2

Nouvelles fonctionnalités et améliorations de cette version

  • Vous pouvez désormais importer des fichiers à partir d’un dossier Git Databricks en tant que modules Python. Vous pouvez importer des fichiers à partir du chemin d’accès du référentiel actuel ou d’un chemin de référentiel spécifié à l’aide de sys.path.append().

  • La mise à l’échelle automatique améliorée est désormais en disponibilité générale. Avec cette version, la mise à l’échelle automatique améliorée est le mode de mise à l’échelle automatique par défaut pour les nouveaux pipelines créés dans l’interface utilisateur. Databricks recommande de mettre à jour les pipelines qui utilisent la mise à l’échelle automatique du cluster existant pour utiliser la mise à l’échelle automatique améliorée.

  • Pour les pipelines exécutés en mode continu, la limite de nouvelles tentatives par défaut est désormais de 2 en cas d’échecs de nouvelle tentative. En incluant la tentative d’origine, tous les flux ont trois tentatives (avec interruption exponentielle) pour s’exécuter en cas d’échecs non fatals. Auparavant, le comportement par défaut était d’effectuer des nouvelles tentatives sans limite pour les flux par lots, et cinq nouvelles tentatives pour les flux de streaming.

  • Le paramètre de configuration pipelines.maxFlowRetryAttempts s’applique désormais à la limite de nouvelles tentatives pour tous les flux, y compris les flux de traitement par lots et de diffusion en continu, ainsi que pour les pipelines continus ou déclenchés. Auparavant, pipelines.maxFlowRetryAttempts s’appliquait à toutes les limites de nouvelles tentatives en mode déclenché, mais uniquement aux flux par lots en mode continu ; les nouvelles tentatives pour les pipelines de diffusion en continu en mode continu étaient contrôlées par pipelines.numStreamRetryAttempts. Pour les pipelines existants, pipelines.numStreamRetryAttempts continue d’être pris en charge pour les flux de diffusion en continu en mode continu. Si pipelines.numStreamRetryAttempts et pipelines.maxFlowRetryAttempts sont définis, pipelines.numStreamRetryAttempts prend la priorité pour les flux de diffusion en continu en mode continu. Sinon, la valeur configurée pour pipelines.maxFlowRetryAttempts est utilisée. Consultez informations de référence sur les propriétés Delta Live Tables.

Correctifs de bogues dans cette version

  • Cette version corrige un bogue entraînant l’affichage de calculs DBU incorrects par heure pour les clusters avec Photon.

  • Cette version corrige un bogue entraînant l’échec des tâches de maintenance Delta Live Tables dans les espaces de travail avec Unity Catalog.

  • Cette version corrige un bogue dans lequel l’arrêt ou le redémarrage d’un pipeline continu qui ingère des données avec Auto Loader entraîne le blocage du pipeline pendant plusieurs minutes.