Octobre 2023

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en octobre 2023.

Connectivité sécurisée serverless pour Databricks SQL Serverless (préversion publique)

31 octobre 2023

Les nouveaux outils de connectivité sécurisée serverless vous aident à contrôler l’accès réseau à partir de entrepôts SQL serverless à vos sources de données dans Stockage Azure. Vous pouvez choisir un pare-feu de stockage à l’aide d’ID de sous-réseau ou activer la connectivité privée avec Azure Private Link. Pour rejoindre lapréversion publique, contactez votre équipe de compte Azure Databricks. Consultez l’article Mise en réseau du plan de calcul serverless.

Si vous avez des pare-feu de stockage configurés à l’aide d’ID de sous-réseau répertoriés dans la documentation Azure Databricks avant le 31 octobre 2023, Databricks vous recommande de mettre à jour vos configurations de pare-feu pour chacune de vos régions d’espace de travail à l’aide de l’un des nouveaux outils. Cela vous permet d’appliquer un déploiement cohérent sur tous les espaces de travail. Si vous choisissez de ne pas mettre à jour les configurations existantes, les espaces de travail continueront à fonctionner.

Afficher la source YAML pour un travail Azure Databricks

30 octobre 2023

Vous pouvez maintenant afficher et copier la source YAML d’un travail en cliquant sur sur la page de détails du travail et en sélectionnant Afficher YAML/JSON. Vous pouvez utiliser la source YAML pour créer des flux de travail CI/CD avec des offres groupées d’actifs Databricks. Consultez Que sont les packs de ressources Databricks ?.

Ajouter une logique conditionnelle à vos workflows Azure Databricks

30 octobre 2023

Vous pouvez maintenant utiliser la tâche If/else condition pour exécuter des tâches de manière conditionnelle dans un travail Azure Databricks en fonction des résultats d’une expression booléenne. Consultez Ajouter une logique de branchement à un travail avec la tâche If/else.

Configurer des paramètres sur un travail Azure Databricks qui peut être référencé par toutes les tâches de travail

30 octobre 2023

Vous pouvez maintenant ajouter des paramètres à vos travaux Azure Databricks qui sont automatiquement passés à toutes les tâches de travail qui acceptent des paires clé-valeur. Consultez Configurer les paramètres d’un travail. En outre, vous pouvez désormais utiliser un ensemble étendu de références de valeur pour passer le contexte et l’état entre les tâches de travail. Voir Qu’est-ce qu’une référence de valeur dynamique ?.

Activez automatiquement les vecteurs de suppression

30 octobre 2023

Vous pouvez désormais activer les vecteurs de suppression sur toutes les nouvelles tables Delta dans Databricks Runtime 14.0 et versions ultérieures avec le paramètre administrateur de l’espace de travail pour Activer automatiquement les vecteurs de suppression. Ce comportement est actuellement de type « activer », mais il deviendra « désactiver » à l’avenir. Databricks recommande de configurer manuellement une option pour ce paramètre. Consultez Activer automatiquement les vecteurs de suppression.

La prise en charge du catalogue Unity pour UNDROP TABLE est en disponibilité générale

25 octobre 2023

Vous pouvez annuler la suppression d’une table managée ou externe dans un schéma existant dans les sept jours suivant la suppression. Nécessite Databricks Runtime 12.1 ou version ultérieure. Consultez UNDROP TABLE et AFFICHER LES TABLES SUPPRIMÉES.

Partner Connect prend en charge Dataiku

25 octobre 2023

Vous pouvez désormais utiliser Partner Connect pour connecter votre espace de travail Azure Databricks à Dataiku. Consultez Se connecter à Dataiku.

Les notebooks générés automatiquement sont désormais enregistrés en tant qu’artefacts MLflow

24 octobre 2023

Les notebooks générés par AutoML sont désormais enregistrés en tant qu’artefacts MLflow dans toutes les versions de Databricks Runtime pour Machine Learning.

Nouvelle région : Qatar Central

23 octobre 2023

Azure Databricks est désormais disponible au Qatar Central. Voir les régions Azure Databricks.

Volumes Unity Catalog pris en charge avec le pare-feu Azure et Private Link

23 octobre 2023

Vous pouvez désormais utiliser des volumes de catalogue Unity conjointement avec les comptes de stockage Azure configurés avec le pare-feu Azure ou Private Link. Cela supprime une limitation précédente.

Optimisation des prédictions (préversion publique)

24 octobre 2023

L’optimisation des prédictions supprime la nécessité de gérer manuellement les opérations de maintenance pour les tables Delta. Les opérations de maintenance ne sont exécutées que si nécessaire, ce qui élimine les exécutions inutiles pour les opérations de maintenance et la charge associée au suivi et à la résolution des problèmes de performances. Consultez Optimisation prédictive pour les tables managées Unity Catalog.

Les tables système de calcul sont désormais disponibles (préversion publique)

23 octobre 2023

Le schéma system.compute contient deux nouvelles tables que vous pouvez utiliser pour surveiller les ressources de calcul dans votre compte : clusters et node_types.

La table des clusters est une table de dimension à variation lente qui contient l’historique complet des configurations de cluster au fil du temps pour les clusters universels et les clusters de travaux. La table des types de nœud capture les types de nœud actuellement disponibles avec leurs informations matérielles de base. Si vous n’avez pas accès à ces tables système, assurez-vous de l’activation du schéma de calcul dans votre compte (consultez Activer les schémas de la table système).

Pour plus d’informations sur les tables système de calcul, consultez Référence des tables système de calcul.

Le calcul des fonctionnalités à la demande est en disponibilité générale

19 octobre 2023

Les fonctionnalités de Machine Learning peuvent désormais être calculées à la demande au moment de l’inférence. Cela permet aux modèles de calculer des caractéristiques à l’aide d’entrées disponibles uniquement au moment de l’inférence, comme l’emplacement actuel d’un utilisateur, ou pour utiliser des fonctionnalité avec un coût prohibitif pour précalculer, stocker et actualiser. Le code d’entraînement du modèle peut définir un graphique arbitraire de recherches et de calculs de fonctionnalités qui sont exécutés pendant l’entraînement et l’inférence du modèle.

La logique de calcul des fonctionnalités, les modèles et les données sont toutes régies par le catalogue Unity. Pour plus d’informations, voir Calculer des caractéristiques à la demande avec des fonctions Python définies par l’utilisateur.

Ingénierie des fonctionnalités dans le catalogue Unity est en disponibilité générale

19 octobre 2023

Avec l'ingénierie de caractéristiques dans Unity Catalog, Unity Catalog devient votre magasin de fonctionnalités. Vous pouvez utiliser n'importe quelle table Delta avec une clé primaire comme table de caractéristiques pour la formation ou l'inférence du modèle. Unity Catalog offre la découverte et la gouvernance des fonctionnalités.

Commentaires de table générés par l’IA (préversion publique)

18 octobre 2023

Dans le cadre de l’initiative d’utilisation de l’IA pour vous aider à travailler avec Azure Databricks, Azure Databricks introduit les commentaires de table et de colonne générés par IA dans la préversion publique. Dans l’explorateur de catalogues, vous pouvez afficher, modifier et ajouter un commentaire généré par l’IA pour n’importe quelle table ou colonne de table gérée par Unity Catalog. Les commentaires générés par IA peuvent utiliser des partenaires de modèle externes pour fournir des réponses. Les données envoyées à ces services ne sont pas utilisées pour l’apprentissage des modèles.

Consultez Ajouter des commentaires générés par l’IA aux objets Unity Catalog.

Modèles dans Unity Catalog sont en disponibilité générale

17 octobre 2023

Les modèles ML dans le catalogue Unity sont désormais en disponibilité générale. Unity Catalog fournit un contrôle d’accès centralisé, un audit, une traçabilité, un partage de modèles entre les espaces de travail et de meilleurs flux de travail de déploiement MLOps. Azure Databricks recommande d’utiliser des modèles dans le catalogue Unity au lieu du registre des modèles d’espace de travail. Pour plus d’informations, consultez Gérer le cycle de vie des modèles dans Unity Catalog .

Les bibliothèques sont désormais prises en charge dans les stratégies de calcul (préversion publique)

17 octobre 2023

Les administrateurs d’espace de travail peuvent désormais ajouter des bibliothèques aux stratégies de calcul. Le calcul qui utilise la stratégie installe automatiquement la bibliothèque. Les utilisateurs ne peuvent pas installer ou désinstaller des bibliothèques délimitées par le calcul qui utilisent la stratégie. Les bibliothèques précédemment installées sont désinstallées.

Databricks recommande de migrer toutes les bibliothèques installées avec des scripts d’initialisation pour utiliser des stratégies de calcul. Consultez Ajouter des bibliothèques à une stratégie.

Partner Connect prend en charge Monte Carlo

16 octobre 2023

Vous pouvez désormais utiliser Partner Connect pour connecter votre espace de travail Azure Databricks à Monte Carlo. Pour plus d’informations, consultez Connecter Azure Databricks à Monte Carlo.

Recherche sémantique (aperçu public)

16 octobre 2023

Vous pouvez désormais utiliser le langage naturel pour rechercher des tables Unity Catalog dans la boîte de dialogue Recherche avancée. Veuillez consulter la rubrique Recherche sémantique.

Activer l’Assistant Databricks au niveau de l’espace de travail

11 octobre 2023

Un administrateur de l’espace de travail peut désormais activer ou désactiver l’Assistant Databricks pour un espace de travail individuel si l’administrateur de compte l’a autorisé. Pour obtenir des détails, consultez Comment activer l’Assistant Databricks ?.

Nouveaux paramètres par défaut pour Photon

11 octobre 2023

Lors de la création d’un nouveau cluster via l’interface utilisateur, le moteur Azure Databricks Runtime par défaut est activé par Photon. Cela s’applique aux clusters polyvalents et aux clusters d’emplois.

Les nouveaux clusters créés avec une stratégie de cluster compatible avec Photon ont Photon activé par défaut. Une stratégie de cluster est compatible avec Photon si Databricks Runtime la prend en charge, si le type de nœud runtime_engine est pris en charge et si n'est pas explicitement défini sur STANDARD.

Databricks Runtime 14.1 est GA

11 octobre 2023

Databricks Runtime 14.1 et Databricks Runtime 14.1 ML sont désormais généralement disponibles.

Consultez Databricks Runtime 14.1 et Databricks Runtime 14.1 pour Machine Learning.

Les notes de publication des outils pour développeurs ont été déplacées

10 octobre 2023

Les notes de publication des outils pour développeurs Azure Databricks datant d’après le 10 octobre 2023 sont désormais publiées dans les Notes de publication des outils et Kits de développement logiciel (SDK) pour développeurs Azure Databricks au lieu des notes de publication de la plateforme Azure Databricks.

Extension Databricks pour Visual Studio Code mise à jour vers la version 1.1.5

9 octobre 2023

L'extension Databricks pour Visual Studio Code version 1.1.5 contient quelques correctifs mineurs. Pour plus de détails, consultez le journal des modifications de la version 1.1.5.

Les E/S prédictives pour les mises à jour sont GA

9 octobre 2023

Les E/S prédictives pour les mises à jour sont désormais généralement disponibles sur Databricks Runtime 14,0 et versions ultérieures. Consultez Qu’est-ce que les E/S prédictives ?.

Les vecteurs de suppression sont GA

9 octobre 2023

Les vecteurs de suppression sont désormais généralement disponibles sur Databricks Runtime 14,0 et versions ultérieures. Consultez Que sont les vecteurs de suppression ?.

Partner Connect prend en charge RudderStack

5 octobre 2023

Vous pouvez désormais utiliser Partner Connect pour connecter votre espace de travail Azure Databricks à RudderStack. Si vous souhaitez obtenir plus d’informations, référez-vous à la section Se connecter à RudderStack.

Databricks CLI mis à jour vers la version 0.207.0 (aperçu public)

4 octobre 2023

L'interface de ligne de commande Databricks (Databricks CLI) a été mise à jour vers la version 0.207.0. Cette version contient des mises à jour de fonctionnalités et des correctifs pour les ensembles de ressources Databricks, apporte des ajouts et des modifications à plusieurs groupes de commandes et commandes, et bien plus encore. Pour plus de détails, consultez le journal des modifications de la version 0.207.0.

Exécuter les cellules sélectionnées dans un notebook

4 octobre 2023

Vous pouvez maintenant exécuter uniquement les cellules sélectionnées dans un notebook. Reportez-vous à Exécuter les cellules sélectionnées.

Utiliser la liaison espace de travail-catalogue pour accorder un accès en lecture seule à un catalogue

4 octobre 2023

Lorsque vous utilisez la liaison espace de travail-catalogue pour limiter l'accès au catalogue à des espaces de travail spécifiques dans votre compte, vous pouvez désormais rendre cet accès possible en lecture seule. La liaison espace de travail-catalogue en lecture seule est utile pour différents scénarios, notamment donner aux utilisateurs un accès en lecture seule aux données de production à partir d'un espace de travail développeur pour activer le développement et les tests.

Cette mise à jour déprécie également le point de terminaison de l'API /api/2.1/unity-catalog/workspace-bindings/ et le remplace par /api/2.1/unity-catalog/bindings/.

Consultez Limiter l’accès au catalogue à des espaces de travail spécifiques.

Extension Databricks pour Visual Studio Code mise à jour vers la version 1.1.4

2 Octobre 2023

L'extension Databricks pour Visual Studio Code version 1.1.4 ajoute la prise en charge des URL d'espace de travail Azure Databricks personnalisées, et bien plus encore. Pour plus de détails, consultez le journal des modifications de la version 1.1.4.

SDK Databricks pour Python mis à jour vers la version 0.10.0 (bêta)

3 octobre 2023

Le SDK Databricks pour Python version 0.10.0 introduit 7 modifications importantes, ajoute 10 classes de données, ajoute 6 champs et ajoute un service. Pour plus de détails, consultez le journal des modifications de la version 0.10.0.

SDK Databricks pour Go mis à jour vers la version 0.22.0 (bêta)

3 octobre 2023

Le SDK Databricks pour Go version 0.22.0 introduit une modification majeure de l'API et ajoute une API. Pour plus de détails, consultez le journal des modifications de la version 0.22.0.

Volumes Unity Catalog désormais en préversion publique pour Azure Chine

2 Octobre 2023

Les volumes Unity Catalog sont désormais disponibles en tant que fonctionnalité en préversion publique dans les régions Azure Chine. Consultez Qu’est-ce que les volumes de catalogue Unity ?.