Mai 2021

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en mai 2021.

Databricks Mosaic AI : solution collaborative et de données natives pour le cycle de vie ML complet

27 mai 2021

Le nouveau personnage Machine Learning, sélectionnable dans la barre latérale de l’interface utilisateur d’Azure Databricks, vous permet d’accéder facilement à un nouvel environnement conçu spécialement pour le Machine Learning, incluant le registre de modèles et quatre nouvelles fonctionnalités en préversion publique :

• Une nouvelle page du tableau de bord avec des ressources pratiques, des liens utilisés récemment et des liens de prise en main.
• Une nouvelle page Expériences qui centralise la découverte et la gestion des expériences.
• AutoML, un moyen de générer automatiquement des modèles ML à partir de données et d’accélérer le parcours de production.
• Magasin de fonctionnalités, moyen de cataloguer les fonctionnalités de ML et de les rendre accessibles pour l’apprentissage et le service, en renforçant la réutilisation. Avec une recherche de fonctionnalités basées sur le lignage des données qui tire parti des sources de données journalisées automatiquement, vous pouvez rendre les fonctionnalités disponibles pour l’entraînement et le service avec un déploiement de modèle simplifié qui ne nécessite pas de changements de l’application cliente.

Pour plus de détails, consultez IA et Machine Learning sur Databricks.

SQL Analytics est renommé Databricks SQL

27 mai 2021

SQL Analytics est renommé Databricks SQL. Pour plus d’informations, consultez la Note de publication de Databricks SQL.

Créer et gérer des pipelines ETL à l’aide de Delta Live Tables (préversion publique)

26 mai 2021

Databricks est heureux d’introduire Delta Live Tables, un service cloud qui rend le développement ETL (extraction, transformation et chargement) simple, fiable et évolutif. Delta Live Tables :

• Fournit une interface déclarative intuitive et familière pour créer des pipelines.
• Permet de surveiller les pipelines de traitement des données, de visualiser les dépendances et de gérer les pipelines et dépendances dans différents environnements.
• Permet un développement piloté par les tests, l’application de contraintes de qualité des données et l’application de stratégies de gestion des erreurs de données uniformes.
• Automatise le déploiement de vos pipelines de traitement des données pour faciliter la mise à niveau, la restauration et le retraitement des données de façon incrémentielle.

Pour plus d’informations, consultez l’article Présentation de Delta Live Tables.

Les machines virtuelles Azure Spot sont en disponibilité générale

24 mai 2021

La possibilité de créer des clusters Azure Databricks avec des machines virtuelles Azure spot est désormais généralement disponible. Vous pouvez désormais tirer parti d’instances Azure Spot beaucoup moins coûteuses et réduire le coût total de possession (TCO) d’Azure Databricks. Vous pouvez choisir d’utiliser des instances Azure Spot lorsque vous :

• Utilisez l’interface utilisateur pour créer un cluster, en cochant la case Instances Spot.
• Utilisez l’API pour créer un cluster, en spécifiant le champ azure_attributes dans les attributs de cluster de la demande.
• Utilisez l’interface utilisateur pour créer un pool d’instances, en sélectionnant l’option Toutes des instances spot.
• Utilisez l’API pour créer un pool d’instances, en spécifiant le champ azure_attributes dans la demande de création d’un pool d’instances.

Chiffrer les requêtes Databricks SQL et l’historique des requêtes à l’aide de votre propre clé (préversion publique)

20 mai 2021

Pour plus d’informations, consultez la Note de publication de Databricks SQL.

Augmentation de la limite du nombre de clusters universels terminés

18 mai 2021 : version 3.46

Vous pouvez maintenant avoir jusqu’à 150 clusters universels terminés dans un espace de travail Azure Databricks. Auparavant, la limite était de 120. Pour plus d’informations, consultez Terminer un calcul. La limite du nombre de clusters universels terminés retournés par la requête de l’API Clusters est désormais également de 150.

Augmentation de la limite du nombre de clusters épinglés

18 mai 2021 : version 3.46

Vous pouvez maintenant avoir jusqu’à 70 clusters épinglés dans un espace de travail Azure Databricks. Auparavant, la limite était de 50. Pour plus d’informations, consultez Épingler un calcul.

Gérer l’emplacement de stockage des résultats des notebooks (préversion publique)

18 mai 2021 : version 3.46

Vous pouvez désormais choisir de stocker tous les résultats du notebook dans votre instance de Stockage Azure racine, quelle que soit la taille ou le type d’exécution. Par défaut, certains résultats pour les notebooks interactifs sont stockés dans Azure Databricks. Une nouvelle configuration vous permet de les stocker dans une instance de Stockage Azure racine au sein de votre propre compte. Pour plus d’informations, consultez l’article Configurer l’emplacement de stockage des résultats des notebooks.

Cette fonctionnalité n’a aucune incidence sur les notebooks exécutés en tant que travaux, dont les résultats sont toujours stockés dans une instance de Stockage Azure racine.

Chiffrer les données de notebook et de secret dans le plan de contrôle avec votre propre clé (préversion publique)

10 mai 2021

Un espace de travail Azure Databricks comprend un plan de contrôle hébergé dans un abonnement géré par Azure Databricks et un plan de calcul déployé dans votre abonnement Azure. Le plan de contrôle stocke vos données de services gérés, y compris les commandes de notebook, les secrets et autres données de configuration d’espace de travail. Par défaut, ces données sont chiffrées à l’aide d’une clé gérée par Azure Databricks, mais vous pouvez désormais ajouter une clé à partir de votre instance Azure Key Vault pour les chiffrer. Consultez Activer les clés gérées par le client pour les services managés.

Fin du support de la série Databricks Runtime 7.4

3 mai 2021

Le support de Databricks Runtime 7.4, de Databricks Runtime 7.4 pour Machine Learning et de Databricks Runtime 7.4 pour Genomics a pris fin le 3 mai. Consultez Cycles de vie du support de Databricks.

Les utilisateurs Repos peuvent désormais s’intégrer à Azure DevOps à l’aide de jetons d’accès personnels

Du 3 au 10 mai 2021 : version 3.45

En plus des jetons d’accès Microsoft Entra ID, vous pouvez désormais utiliser un jeton d’accès personnel pour vous authentifier auprès d’Azure DevOps. Pour plus d’informations, consultez Configurer des dossiers Git Databricks (Repos).