Partager via

Février 2022

  • Article

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en février 2022.

Notes

Les publications se font par étapes. Votre compte Azure Databricks ne peut pas être mis à jour jusqu’à une semaine ou plus après la date de publication initiale.

Planification facilitée pour vos pipelines Delta Live Tables (Préversion publique)

28 février – 2 mars 2022

Vous pouvez maintenant créer un travail Azure Databricks planifié pour vos pipelines déclenchés directement à partir de l’interface utilisateur de Delta Live Tables. Auparavant, vous aviez besoin de créer le travail et la planification pour exécuter le travail à partir de l’interface utilisateur des travaux.

Navigation facile dans l’historique de vos mises à jour de pipelines Delta Live Tables (Préversion publique)

28 février – 2 mars 2022

Vous pouvez maintenant voir un historique des mises à jour de pipelines, notamment l’état des mises à jour, les détails et les événements, avec la liste déroulante Historique des mises à jour dans l’interface utilisateur de Delta Live Tables.

Assurer l’idempotence des tâches pour la requête Run now de l’API Jobs

22-28 février 2022 : version : 3.66

Vous pouvez maintenant utiliser le paramètre idempotency_token facultatif avec l’opération Exécuter maintenant de l’API Travaux pour veiller à ce qu’une seule exécution d’un travail soit lancée. Auparavant, l’envoi de plusieurs demandes Run now pour le même travail risquait d’avoir lancé plusieurs exécutions.

Pour en savoir plus sur l’idempotence des travaux, consultez Guide pratique pour garantir l’idempotence pour les travaux.

Améliorations de la stabilité et de la scalabilité des services de travaux

22-28 février 2022 : version : 3.66

Les modifications suivantes améliorent la stabilité et la scalabilité du service Jobs :

  • Chaque nouveau travail se voit attribuer un identificateur numérique plus long, unique et non séquentiel. Les clients qui utilisent l’API Travaux et qui dépendent d’une longueur d’identificateur fixe ou d’identifiants séquentiels ou à augmentation monotone doivent être modifiés pour accepter des identificateurs plus longs, non séquentiels et non ordonnés. Le type d’identificateur int64 reste inchangé, et la compatibilité est préservée pour les clients qui utilisent des nombres à virgule flottante IEEE 754 64 bits, par exemple les clients JavaScript.
  • La valeur du champ number_in_job, incluse dans la réponse à certaines demandes de l’API Travaux, est maintenant définie sur la même valeur que run_id.

Comparer les exécutions MLflow de différentes expériences

22-28 février 2022 : version : 3.66

Vous pouvez maintenant afficher et comparer des exécutions à partir de plusieurs expériences. Consultez Comparer les exécutions de plusieurs expériences.

Améliorations apportées à l’affichage des exécutions de comparaison MLflow

22-28 février 2022 : version : 3.66

L’affichage de la comparaison des exécutions a été amélioré. Les visualisations apparaissent maintenant en haut de la page. Vous pouvez désormais faire défiler ou réduire les tables qui indiquent des informations, paramètres et métriques d’exécution. Vous pouvez désormais simplifier l’affichage en masquant les paramètres et métriques qui ne varient pas entre les exécutions.

Pour plus d’informations sur la page comparer les exécutions, consultez Comparer les exécutions. Pour obtenir des instructions sur la manière de comparer des exécutions, consultez Comparer les exécutions.

Meilleure visibilité sur les propriétaires d’exécution des travaux dans l’interface utilisateur des clusters

22-28 février 2022 : version : 3.66

L’onglet Clusters de travail de l’interface utilisateur Calcul a été mis à jour pour afficher l’utilisateur de l’exécution du travail plutôt que le propriétaire du travail. Cette mise à jour repose sur les modifications apportées au modèle des autorisations des travaux afin d’offrir une meilleure visibilité sur le propriétaire d’une exécution de travail. Consultez Afficher le calcul.

Supprimer des colonnes de jeu de données dans AutoML

22-28 février 2022 : version : 3.66

Dans Databricks Runtime 10.3 ML et les versions supérieures, pour les problèmes de classification et de régression, vous pouvez maintenant spécifier dans le jeu de données des colonnes qu’AutoML ne doit pas utiliser pour l’entraînement. Consultez la référence de l’API Python AutoML.

La page des expérimentations est en disponibilité générale

22-28 février 2022 : version : 3.66

La page des expériences est à présent en disponibilité générale.

Prise en charge des tables temporaires dans l’interface Python de Delta Live Tables

22-28 février 2022 : version : 3.66

Vous pouvez maintenant utiliser la propriété temporary pour déclarer des tables avec l’interface Python de Delta Live Tables. La définition d’une table temporaire indique à Delta Live Tables de ne pas conserver les métadonnées de la table et empêche la publication de la table lorsque le target paramètre est configuré. Consultez la spécification Python pour plus d’informations sur la définition des tables Python.

Améliorations de l’interface utilisateur pour Delta Live Tables (préversion publique)

22-28 février 2022 : version : 3.66

Cette version comprend les améliorations suivantes apportées à l’interface utilisateur Delta Live Tables :

  • Vous pouvez maintenant modifier vos paramètres de pipeline dans la boîte de dialogue Paramètres de l’interface utilisateur de Delta Live Tables, ce qui rend l’interface plus conviviale. Auparavant, vous étiez limité à la possibilité de modifier des paramètres par le biais de la spécification JSON. Pour sélectionner l’interface utilisateur ou la vue JSON afin de modifier des paramètres de pipeline, cliquez sur le bouton Interface utilisateur ou JSON dans la boîte de dialogue Paramètres.
  • Le journal des événements figurant dans la page Détails du pipeline met désormais en exergue les enregistrements d’erreurs, ce qui facilite l’identification et la correction des erreurs dans vos pipelines.
  • L’affichage de la progression de l’exécution des pipelines a été amélioré. Désormais, quand vous affichez le graphe de votre pipeline, les nœuds dont l’état est RUNNING présentent une arête entrante animée et une bordure supérieure animée.

Fin du support de la série Databricks Runtime 9.0

17 février 2022

Le support de Databricks Runtime 9.0 et Databricks Runtime 9.0 for Machine Learning a pris fin le 17 février. Consultez Cycles de vie du support de Databricks.

Mises à jour de la page d’accueil Science des données et Ingénierie

10 février 2022

Nous avons mis à jour la présentation de la page d’accueil de Science des données et Ingénierie. Certains liens ont changé, mais aucune autre fonctionnalité notable n’a été modifiée.

Databricks Repos prend désormais en charge AWS CodeCommit pour l’intégration de Git

7-14 février 2022 : version 3.65

Vous pouvez maintenant utiliser des dépôts CodeCommit AWS avec Databricks repos.

Visualisation améliorée pour vos pipelines de tables dynamiques Delta (préversion publique)

7-14 février 2022 : version 3.65

La visualisation DAG du pipeline est repensée pour améliorer l’utilisation et la navigation. Les améliorations incluent une modification apportée à l’affichage des graphiques de gauche à droite et non de haut en bas, ce qui fournit une vue plus intuitive de l’exécution de votre pipeline.

Analyseur Markdown mis à jour

7-14 février 2022 : version 3.65

L’analyseur Markdown utilisé dans les notebooks Azure Databricks a été mis à jour. Certains des problèmes signalés avec la mise à jour précédente ont été résolus. Plus précisément, il n’est plus nécessaire de placer un espace entre les mots-dièse et le texte d’un en-tête, et les liens dont les espaces s’affichent désormais correctement.

Les tables dynamiques Delta prennent désormais en charge le traitement de la capture de données modifiées (préversion publique)

7-14 février 2022 : version 3.65

Vous pouvez désormais implémenter le traitement de capture de données modifiées (CDC) dans vos pipelines de tables dynamiques Delta. Le traitement CDC est pris en charge avec les interfaces SQL et Python. Consultez les API APPLIQUER LES MODIFICATIONS : Simplifiez la capture des données modifiées avec Delta Live Tables.

Des metastores supplémentaires sont désormais disponibles dans plusieurs régions

8 Février 2022

Les metastores suivants sont désormais disponibles dans les régions suivantes :

brazilsouth:

  • consolidated-brazilsouth-prod-metastore.mysql.database.azure.com

centralus:

  • consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com

eastus:

  • consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-eastus-prod-metastore-addl-3.mysql.database.azure.com
  • consolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com

eastus2

  • consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com

francecentral

  • consolidated-francecentral-prod-metastore.mysql.database.azure.com

northeurope

  • consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com

southeastasia

  • consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com

switzerlandnorth

  • consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com

switzerlandwest

  • consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com

uksouth

  • consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com

westeurope

  • consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.com
  • consolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com

Vous devez toujours inclure tous les noms d’hôte pertinents pour chaque région que vous utilisez dans vos itinéraires définis par l’utilisateur (UDR). Voir Paramètres de routage définis par l’utilisateur pour Azure Databricks.

Sélectionner les infrastructures d’algorithmes à utiliser avec AutoML

7-14 février 2022 : version 3.65

Dans Databricks Runtime 10,3 ML et versions ultérieures, vous pouvez spécifier des infrastructures d’algorithmes, telles que scikit-learn, que AutoML ne doit pas prendre en compte lorsqu’il développe des modèles. Par défaut, AutoML prend en compte les modèles de scikit-Learn, XGBoost et LightGBM pour les problèmes de classification et de régression, et de Prophet et de ARIMA automatique pour les problèmes de prévision. Consultez la référence de l’API Python AutoML.

Les modèles MLflow hébergés par Databricks peuvent désormais rechercher des fonctionnalités dans les magasins en ligne

3 février 2022

Les modèles empaquetés avec les métadonnées de la Banque de fonctionnalités peuvent Rechercher automatiquement les valeurs de fonctionnalités des magasins en ligne au moment de la fourniture.

Databricks Runtime 10.3 et 10.3 ML sont en disponibilité générale ; 10.3 Photon est en Préversion publique

2 Février 2022

Databricks Runtime 10.3 et Databricks Runtime 10.3 ML sont désormais mis à la disposition générale. Databricks Runtime photon 10.3 est en préversion publique.