Février 2024
Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en février 2024.
Remarque
Les publications se font par étapes. Il se peut que votre compte Azure Databricks ne soit pas mis à jour avant au moins une semaine suivant la date de publication initiale.
Utiliser Delta Live Tables dans l’ingénierie de caractéristiques (préversion publique)
29 février 2024
Les tables publiées dans le catalogue Unity à partir de pipelines Delta Live Tables et qui incluent une clé primaire peuvent désormais être utilisées comme tables de fonctionnalités pour l’entraînement ou l’inférence de modèle. Unity Catalog fournit la détection, la gouvernance, la traçabilité et l’accès aux fonctionnalités dans plusieurs espaces de travail. Pour plus d’informations, consultez Créer une table de caractéristiques dans Unity Catalog.
Adresses IPv4 sources pour les connexions PrivateLink dans les journaux d’audit
29 février 2024
L’adresse IPv4 source pour les connexions PrivateLink front-end est désormais capturée dans source_ip_address
dans des journaux d’audit. Consultez Informations de référence sur les journaux de diagnostic et Configurer une connectivité privée vers Azure Databricks.
Restreindre le changement de propriétaire de travail et le paramètre Exécuter en tant que
29 février 2024
Les administrateurs d’espace de travail peuvent changer le propriétaire d’un travail en affectant n’importe quel utilisateur ou principal de service dans leur espace de travail par défaut, et modifier le paramètre Exécuter en tant que en affectant n’importe quel utilisateur de leur espace de travail ou des principaux de service pour lesquels ils ont le rôle Utilisateur de principal de service.
Les administrateurs de compte peuvent désormais restreindre les administrateurs d’espace de travail pour qu’ils puissent changer le propriétaire en le définissant seulement sur eux-mêmes, et changer le paramètre Exécuter en tant que en le définissant seulement sur un principal de service pour lequel ils ont le rôle Utilisateur de principal de service ou sur eux-mêmes. Vous pouvez automatiser l’activation de ce paramètre après la création de l’espace de travail. Consultez Restreindre les administrateurs de l’espace de travail.
prise en charge des principaux de service géré Databricks
28 février 2024
Vous pouvez désormais créer et gérer des principaux services directement dans Azure Databricks. Auparavant, tous les principaux de service devaient être liés à un principal de service Microsoft Entra ID existant. Consulter Principaux de service Databricks et Microsoft Entra ID.
Activer la mise à jour automatique des clusters (préversion publique)
27 février 2024
La mise à jour automatique des clusters veille à ce que tous les clusters d’un espace de travail soient périodiquement mis à jour vers les dernières mises à jour de sécurité et de l’image du système d’exploitation hôte. La fenêtre de maintenance est configurable. Consultez Mise à jour automatique de clusters. L’activation de cette fonctionnalité sur un espace de travail ajoute automatiquement le module complémentaire Sécurité et conformité renforcées. Consultez la page de tarification.
Les administrateurs peuvent activer des fonctionnalités de sécurité et de conformité renforcées (préversion publique)
27 février 2024
Les administrateurs peuvent désormais activer des fonctionnalités de Configurer des paramètres de sécurité et de conformité renforcées : le profil de sécurité et de conformité, le monitoring de sécurité renforcée et la mise à jour automatique de clusters. Utilisez le portail Azure ou un modèle ARM. L’utilisation de ces fonctionnalités ajoute automatiquement le module complémentaire Sécurité et conformité renforcées. Consultez la page de tarification.
La fonctionnalité de mise à jour automatique de clusters et la capacité à activer les fonctionnalités de Sécurité et conformité renforcées sont en préversion publique. Toutefois, le profil de sécurité de conformité lui-même et la surveillance renforcée de la sécurité sont en disponibilité générale (GA).
Prise en charge du stockage Cloudflare R2 pour éviter les frais de sortie inter-régions (préversion publique)
26 février 2024
Vous pouvez désormais utiliser Cloudflare R2 comme stockage cloud pour les données inscrites dans Unity Catalog. Cloudflare R2 est principalement destiné aux cas d’usage du Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie des données facturés par les fournisseurs de cloud lorsque les données transitent d’une région à l’autre. Le stockage R2 prend en charge toutes les données de Databricks et les ressources d’IA prises en charge dans AWS S3, Azure Data Lake Storage Gen2 et Google Cloud Storage. La prise en charge de R2 nécessite Databricks Runtime 14.3 ou SQL Warehouse 2024.15. Consultez Utiliser les réplicas de Cloudflare R2 ou migrer le stockage vers R2 et Créer des informations d’identification de stockage pour se connecter à Cloudflare R2.
Ajouter une interface utilisateur de données prend en charge le format de fichier XML
23 février 2024
L’interface utilisateur d’ajout de données prend désormais en charge le chargement et l’ingestion de fichiers XML à partir du stockage d’objets cloud. Consultez Charger des fichiers dans Azure Databricks.
Utilisez AI Functions pour invoquer un modèle d’IA génératif à partir des API Foundation Model
22 février 2024
Vous pouvez désormais utiliser AI Functions pour invoquer un modèle d’IA génératif de pointe à partir des API Databricks Foundation Model afin d’effectuer des tâches d’IA telles que l’analyse des sentiments et la classification.
Consultez AI Functions à l’aide des API Databricks Foundation Model pour connaître les fonctions disponibles.
Les volumes de Unity Catalog sont en disponibilité générale
22 février 2024
Les volumes de Unity Catalog sont désormais généralement disponibles dans Databricks Runtime 14.3 LTS et versions ultérieures. Databricks recommande d’utiliser des volumes pour gérer l’accès en lecture et en écriture aux données non tabulaires dans le stockage d’objets cloud. Consultez Présentation des volumes Unity Catalog.
Recherche basée sur l’IA en pleine page
16-22 février 2024
La recherche Azure Databricks tire désormais parti de DatabricksIQ pour offrir une expérience de recherche plus intelligente basée sur l’IA. La nouvelle expérience de recherche sur une page entière vous donne plus d’espace pour afficher les résultats, plus de métadonnées pour vos objets et plus de filtres pour affiner vos résultats.
Consultez Recherche des objets de l’espace de travail.
Exécuter des travaux du notebook SQL sur un entrepôt SQL
8 février 2024
Vous pouvez désormais planifier et exécuter des travaux de notebook à l’aide d’un entrepôt SQL comme ressource de calcul. Pour plus d’informations, consultez l’article Utiliser un notebook avec un entrepôt SQL.
Les déclencheurs d’arrivée de fichiers dans les travaux Azure Databricks sont en disponibilité générale
7 février 2024
Les déclencheurs d’arrivée de fichiers sont désormais généralement disponibles dans tous les fournisseurs de cloud. Avec cette version, vous pouvez utiliser des déclencheurs d’arrivée de fichiers pour exécuter une tâche Azure Databricks lorsque de nouveaux fichiers arrivent dans un volume Unity Catalog, en plus de la prise en charge existante des emplacements externes Unity Catalog. Voir Déclencher des tâches lorsque de nouveaux fichiers arrivent.
Cette version supprime également une limitation de l’utilisation des déclencheurs d’arrivée de fichiers avec un pare-feu Azure.
La recherche de modèles Machine Learning dans Unity Catalog à l’aide de la recherche globale dans l’espace de travail
7 février 2024
Vous pouvez désormais rechercher des modèles Machine Learning dans Unity Catalog à l’aide de la barre de recherche globale dans l’interface utilisateur de l’espace de travail Databricks. Consultez Gérer le cycle de vie du modèle dans les du catalogue Unity et Rechercher des objets d’espace de travail.
Le proxy de serveur Git Databricks est en disponibilité générale
6 février 2024
Vous pouvez utiliser le proxy du serveur Databricks Git pour configurer un accès sécurisé depuis Databricks Repos vers votre serveur Git local. Consultez Configurer la connectivité Git privée pour des dossiers Git Azure Databricks (Repos).
Le proxy de serveur Git Databricks ne nécessite plus d’autorisations de CAN_ATTACH_TO
6 février 2024
La version GA du proxy de serveur Git de Databricks a supprimé la nécessité de fournir des permissions à tous les utilisateurs CAN_ATTACH_TO
.
Si vous avez précédemment configuré le proxy de serveur Git Databricks avec des privilèges CAN_ATTACH_TO
, consultez Configurer la connectivité Git privée pour les dossiers Git Azure Databricks (Repos).
La prise en charge des fichiers d’espace de travail pour les tâches de fichier dbt et SQL est en disponibilité générale
1 février 2024
La prise en charge de l’utilisation des projets dbt et des fichiers SQL stockés dans les dossiers de l’espace de travail Azure Databricks est désormais disponible, en plus de la prise en charge existante de l’utilisation des fichiers stockés dans un référentiel Git distant. Consultez Tâche dbt pour les travaux et Tâche SQL pour les travaux.
Databricks Connect est en disponibilité générale pour Scala
1 février 2024
Depuis Databricks Runtime 14.3 LTS, Databricks Connect est maintenant disponible pour Scala.
Créer des tables à partir des fichiers des volumes
1 février 2024
Vous pouvez désormais utiliser l’interface utilisateur pour créer des tables gérées par Unity Catalog à partir de fichiers de données stockés dans des volumes Unity Catalog. Consultez Créer une table à partir de données dans un volume.
Databricks Runtime 14.3 LTS est en disponibilité générale
1 février 2024
Databricks Runtime 14.3 LTS et Databricks Runtime 14.3 LTS ML sont désormais en disponibilité générale.
Référez-vous à la section Databricks Runtime 14.3 LTS et Databricks Runtime 14.3 LTS pour Machine Learning.
Delta Sharing prend en charge des tables qui utilisent des vecteurs de suppression (préversion publique)
1 février 2024
Le partage Delta prend désormais en charge le partage de tables qui utilisent vecteurs de suppression, qui sont une fonctionnalité d’optimisation du stockage que vous pouvez activer sur les tables Delta. Les destinataires peuvent lire les tables qui utilisent des vecteurs de suppression à l’aide d’un entrepôt SQL, d’un cluster exécutant Databricks Runtime 14.1 ou une version ultérieure, ou d’un ordinateur exécutant Open Source delta-sharing-spark
3.1 ou une version ultérieure. Le soutien est progressivement déployé au cours du mois à venir.
Consultez Ajouter des tables avec des vecteurs de suppression ou le mappage de colonnes à un partage, Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés et Lire des tables avec des vecteurs de suppression ou le mappage de colonnes activés.