Juin 2021

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en juin 2021.

Correction : L’option des dépôts pour Git est activée par défaut dans les espaces de travail nouveaux et existants dans certaines régions

30 juin 2021

Dans une note de publication du 2 juin 2021, Databricks a annoncé que l’option des dépôts pour Git est activée par défaut dans les nouveaux espaces de travail de certaines régions, mais a omis le détail important suivant : l’option des dépôts pour Git est également activée dans les espaces de travail existants si le versioning Git des notebooks est déjà activé. La note de publication d’origine a été mise à jour.

Changement apporté au magasin de fonctionnalités

28 juin au 6 juillet 2021 : version 3.49

Les utilisateurs disposant de l’autorisation CAN_VIEW_METADATA sur une table de fonctionnalités peuvent désormais la publier sur des magasins en ligne.

Amélioration de l’accès aux résultats dans la table d’exécutions MLflow

28 juin au 6 juillet 2021 : version 3.49

Les modifications apportées à la table d’exécutions MLflow offrent un accès plus rapide aux résultats.

• Les colonnes de métriques apparaissent maintenant avant les colonnes de paramètres, ce qui permet d’identifier plus facilement la meilleure exécution.
• La colonne Heure de Début affiche maintenant l’ancienneté de l’exécution, et non l’heure de début. Cela réduit la largeur de la colonne et permet d’afficher plus d’informations sans défilement horizontal. Pour afficher l’heure de début, pointez sur la valeur dans la colonne.

Meilleure visibilité des coûts pour les tables dynamiques Delta

28 juin au 6 juillet 2021 : version 3.49

Lorsque vous créez un pipeline ou affichez l’interface utilisateur des détails du pipeline, vous voyez maintenant les DBU par heure pour le cluster par défaut Delta Live Tables.

Amélioration des contraintes de qualité des données pour les tables dynamiques Delta

28 juin au 6 juillet 2021 : version 3.49

Vous pouvez maintenant utiliser les API Python expect_all_or_fail, expect_all_or_drop et expect_all pour définir plusieurs contraintes de qualité des données sur les jeux de données Delta Live Tables. Ces API sont utiles lors de l’application d’une bibliothèque d’attentes courantes à un ou plusieurs jeux de données dans un pipeline. Pour plus d’informations, consultez Gérer la qualité des données avec Delta Live Tables.

Changements d’API pour la mise à jour et le remplacement des listes d’adresses IP

28 juin au 6 juillet 2021 : version 3.49

Une nouvelle opération PATCH pour /ip-access-lists/<list-id> dans l’API REST Databricks 2.0 vous permet de mettre à jour par programmation les valeurs individuelles dans une liste d’adresses IP existante. Pour plus d’informations, consultez Mettre à jour une liste d’accès IP.

L’opération PUT existante pour /ip-access-lists/<list-id> dans l’API REST Databricks 2.0 vous permet de remplacer par programmation le contenu d’une liste d’adresses IP existante tout en conservant l’ID interne d’origine de la liste. Pour plus d’informations, consultez Remplacer une liste d’accès IP.

Pilote ODBC Databricks 2.6.17

22 juin 2021

Nous avons publié la version 2.6.17 du pilote ODBC Databricks (Téléchargement). Cette version ajoute la prise en charge de Cloud Fetch, qui est un mécanisme permettant d’extraire des données en parallèle via le stockage cloud, afin d’apporter plus rapidement les données aux outils décisionnels. Cette version réduit également la latence en supprimant les allers-retours inutiles entre le client et Databricks Runtime. Consultez How We Achieved High-bandwidth Connectivity With BI Tools.

Fin du support de la série Databricks Runtime 7.5

16 juin 2021

Le support de Databricks Runtime 7.5, de Databricks Runtime 7.5 pour Machine Learning et de Databricks Runtime 7.5 pour Genomics a pris fin le 16 juin. Consultez Cycles de vie du support de Databricks.

Optimisation des performances et contrôle des coûts à l’aide de différents pools pour le nœud de pilote et les nœuds worker

14 au 21 juin 2021 : version 3.48

Vous pouvez maintenant optimiser votre cluster en l’attachant à un pool différent pour le nœud de pilote et les nœuds worker. Par exemple, vous pouvez utiliser un pool optimisé pour le calcul pour le nœud de pilote et un pool à stockage optimisé pour les nœuds. Cela vous permet également de contrôler les coûts en affectant différentes étiquettes à chaque pool d’instances. Si vous le souhaitez, vous pouvez utiliser le même pool pour les pilotes et les nœuds worker.

Pour plus d’informations, consultez Informations de référence sur la configuration de pool.

Autorisations au niveau du Registre pour le registre de modèles

14 au 21 juin 2021 : version 3.48

Vous pouvez maintenant définir des autorisations de modèle par défaut pour tous les modèles dans le registre de modèles d’un espace de travail. Les autorisations définies à ce niveau s’appliquent à tous les modèles nouveaux et existants enregistrés dans le registre de modèles de cet espace de travail. Pour obtenir plus d’informations, consultez ACL de modèles MLflow.

Le répertoire de base d’un utilisateur n’est plus protégé quand vous supprimez un utilisateur à l’aide de l’API SCIM

14 au 21 juin 2021 : version 3.48

Lorsque vous supprimez un utilisateur à l’aide de l’API SCIM, le répertoire de base de l’utilisateur n’est plus protégé et un administrateur de l’espace de travail peut le supprimer. Ce comportement correspond à ce qui se produit lorsque vous supprimez un utilisateur à l’aide de la console d’administration.

Databricks Runtime 8.3 et 8.3 ML sont en disponibilité générale ; 8.3 Photon est en préversion publique

8 juin 2021

Databricks Runtime 8.3 et 8.3 ML sont maintenant en disponibilité générale. 8.3 Photon est en préversion publique.

Pour plus d’informations, consultez les notes de publication complètes dans Databricks Runtime 8.3 (EoS) et Databricks Runtime 8.3 pour ML (EoS).

Python et contrôle d’accès aux tables SQL (en disponibilité générale)

8 juin 2021

Le contrôle d’accès aux tables vous permet d’accorder et de révoquer par programmation l’accès à vos données à l’aide du modèle de contrôle d’accès basé sur l’affichage Azure Databricks. Le contrôle d’accès aux tables est disponible dans deux versions : SQL uniquement et Python et SQL. Auparavant, seul le contrôle d’accès aux tables SQL uniquement était en disponibilité générale. Désormais, le contrôle d’accès aux tables Python et SQL est en disponibilité générale. Voir Activer le contrôle d’accès à une table du metastore Hive sur un cluster (hérité).

L’interface utilisateur et l’API Jobs affichent désormais le propriétaire d’une exécution de tâche

2 au 7 juin 2021 : version 3.47

L’interface utilisateur et l’API des travaux incluent désormais l’utilisateur sous lequel un travail s’exécute, ce qui facilite la compréhension, le débogage et l’audit des autorisations de travail. Il s’agit d’une valeur en lecture seule définie sur le créateur du travail si le contrôle d’accès aux travaux est désactivé ou l’autorisation is_owner du travail si le contrôle d’accès aux travaux est activé. Pour plus d’informations sur la gestion des autorisations de travail, consultez Contrôler l’accès à un travail.

Protection des propriétés de configuration Spark sensibles et des variables d’environnement à l’aide de secrets (préversion publique)

7 juin 2021

Vous pouvez protéger les propriétés de configuration Spark sensibles et les variables d’environnement à l’aide de secrets. Les secrets récupérés sont rédigés à partir des journaux de sortie des notebooks, du pilote Spark et de l’exécuteur. Consultez Gérer les secrets.

Si vous utilisez actuellement des mots de passe en clair dans une configuration Spark, Databricks vous recommande de renouveler vos mots de passe et d’utiliser des chemins secrets dans la configuration Spark.

L’option des dépôts pour Git est activée par défaut dans les espaces de travail nouveaux et existants dans certaines régions

2 juin 2021

Cette note de publication a été mise à jour le 30 juin 2021.

Pour les espaces de travail nouveaux et existants sur lesquels le versioning Git des notebooks est activé, l’option des dépôts pour Git est désormais activée par défaut dans certaines régions. L’activation des dépôts par défaut sera lancée dans d’autres régions dans les prochains mois. Pour savoir comment activer ou désactiver Repos vous-même et pour vérifier les paramètres de votre espace de travail, consultez Intégration de Git aux dossiers Git Databricks.

Refonte de l’interface utilisateur des paramètres de l’espace de travail

2 au 7 juin 2021 : version 3.47

Le nouvel onglet Paramètres de l’espace de travail dans la console d’administration remplace les onglets de stockage de l’espace de travail, Listes de contrôle d’accès et Avancé pour une configuration simplifiée de l’espace de travail.

Mises à jour des jetons expirés des requêtes de base de données ListTokens et ListAllTokens

2 au 7 juin 2021 : version 3.47

Les requêtes de base de données ListTokens ou ListAllTokens ne retournent plus de jetons expirés. Les jetons indéfinis (ceux dont expiryTime a la valeur -1) sont retournés.

Confirmation désormais nécessaire lors de l’octroi ou la révocation d’autorisations d’administrateur

2 au 7 juin 2021 : version 3.47

Une boîte de dialogue de confirmation s’affiche à présent lorsqu’un utilisateur administrateur accorde ou révoque des privilèges d’administrateur dans l’interface utilisateur web.

Changements apportés aux raccourcis clavier dans l’interface utilisateur web

2 au 7 juin 2021 : version 3.47

Dans un notebook, la manière d’ouvrir la liste des raccourcis clavier a changé. Pour ouvrir la liste, cliquez sur l’icône.