Mai 2024

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en mai 2024.

La configuration du pare-feu serverless prend désormais en charge d’autres types de calcul

31 mai 2024

Azure Databricks prend désormais en charge la configuration des pare-feu pour les travaux serverless, les notebooks, les pipelines Delta Live Tables et l’accès aux points de terminaison de l’unité centrale de service de modèle à l’aide des configurations de connectivité réseau (NCC). Les administrateurs de compte peuvent créer des cartes réseau et les attacher à des espaces de travail pour garantir un accès sécurisé et contrôlé via des sous-réseaux stables.

Consultez Configurer un pare-feu pour l’accès au calcul serverless.

Fin du support de la série Databricks Runtime 15.0

31 mai 2024

La prise en charge de Databricks Runtime 15.0 et de Databricks Runtime 15.0 pour le Machine Learning a pris fin le 31 mai. Consultez Cycles de vie du support de Databricks.

Databricks Runtime 15.3 (Beta)

30 mai 2024

Databricks Runtime 15.3 et Databricks Runtime 15.3 ML sont désormais disponibles en versions bêta.

Consultez Databricks Runtime 15.3 et Databricks Runtime 15.2 pour le Machine Learning.

L’interface utilisateur des métriques de calcul est maintenant disponible sur toutes les versions de Databricks Runtime

30 mai 2024

L’interface utilisateur des métriques de calcul est déployée sur toutes les versions de Databricks Runtime. Avant, ces métriques étaient disponibles uniquement sur les ressources de calcul exécutées sur Databricks Runtime 13.3 et versions ultérieures. Consultez Afficher les métriques de calcul.

Amélioration de la recherche et du filtrage dans les tables de résultats de l’éditeur SQL et notebook

28 mai 2024

Vous pouvez désormais facilement rechercher des colonnes et sélectionner des valeurs de filtre dans une liste déroulante de valeurs existantes dans les tables de résultats dans les blocs-notes et l’éditeur SQL.

Le nouveau tableau de bord permet aux fournisseurs de la Place de marché Databricks de monitorer l’utilisation des référencements

28 mai 2024

Le nouveau tableau de bord d’analyse du fournisseur permet aux fournisseurs de Place de marché Databricks de surveiller les installations, requêtes et affichages de référencements. Le tableau de bord extraie des données des tables système de Place de marché. Consultez Monitorer les métriques d’utilisation des référencements à l’aide de tableaux de bord.

Afficher les requêtes fédérées générées par le système dans Query Profile

24 mai 2024

Lakehouse Federation prend désormais en charge les requêtes fédérées générées par le système et leurs mesures dans le Profil de requête. Cliquez sur le nœud d’analyse de fédération dans la vue Graphique pour révéler la requête transmise dans la source de données. Consultez Afficher les requêtes fédérées générées par le système.

Les adresses IP sortantes du plan de calcul doivent être ajoutées à une liste verte d’adresses IP de l’espace de travail

24 mai 2024

Si vous utilisez la connectivité de cluster sécurisée et des listes d’accès IP sur votre espace de travail, vous devez ajouter toutes les IP publiques utilisées par le plan de calcul pour accéder au plan de contrôle à une liste verte ou configurer une liaison privée back-end. Ce changement aura un impact sur tous les nouveaux espaces de travail le 29 juillet 2024 et sur les espaces de travail existants le 26 août 2024. Pour plus d’informations, consultez la publication de la communauté Databricks.

Par exemple, si vous activez la connectivité de cluster sécurisée sur un espace de travail qui utilise l’injection de VNet, Databricks recommande que votre espace de travail dispose d’une IP publique de sortie stable. Cette IP publique et toutes les autres doivent être présentes dans une liste verte. Consultez Adresses IP de sortie lors de l’utilisation de la connectivité de cluster sécurisée. Sinon, si vous utilisez un VNet managé par Azure Databricks et que vous configurez la passerelle NAT managée pour accéder aux IP publiques, ces IP doivent être présentes dans une liste verte.

Voir Configurer des listes d’accès IP pour les espaces de travail.

OAuth est pris en charge dans Lakehouse Federation pour Snowflake

24 mai 2024

Unity Catalog vous permet désormais de créer des connexions Snowflake avec OAuth. Consultez Exécuter des requêtes fédérées sur Snowflake.

Déplacer et supprimer en bloc des objets d’espace de travail à partir du navigateur d’espace de travail

24 mai 2024

Vous pouvez maintenant sélectionner plusieurs éléments dans l’espace de travail à déplacer ou supprimer. Lorsque plusieurs objets sont sélectionnés, une barre d’actions apparaît et présente des options pour déplacer ou supprimer des éléments. De plus, vous pouvez sélectionner plusieurs éléments à l’aide de votre souris et les faire glisser vers un nouvel emplacement. Les autorisations existantes sur les objets s’appliquent toujours pendant les opérations de déplacement et de suppression en bloc.

Les objets du catalogue Unity sont disponibles dans Récents et Favoris

23 mai 2024

Vous pouvez maintenant trouver des objets catalogue Unity tels que des catalogues et des schémas dans votre liste récente. Vous pouvez également favoris les objets catalogue Unity dans l’Explorateur de catalogues et le navigateur de schéma et rechercher des objets favoris sur la page d’accueil de l’espace de travail.

Le nouveau connecteur dbt-databricks 1.8.0 adopte l’architecture dbt découplée

23 mai 2024

Le connecteur DBT-Databricks 1.8.0 est la première version qui adopte la nouvelle architecture dbt découplée. Au lieu de dépendre de dbt-core pour éviter aux clients d’avoir à spécifier des versions pour les deux bibliothèques, le connecteur dépend désormais d’une couche d’abstraction partagée entre l’adaptateur et dbt-core. Par conséquent, le connecteur n’a plus besoin de faire correspondre la version de fonctionnalité Databricks à celle de dbt-core et est libre d’adopter le versioning sémantique. Cela signifie que les développeurs de connecteurs n’ont plus besoin de publier des fonctionnalités importantes telles que le calcul par modèle en tant que patchs.

Cette version apporte également :

• Des améliorations relatives à la déclaration et au fonctionnement de vues matérialisées et de tables de streaming, notamment la possibilité de planifier des actualisations automatiques.
• Une prise en charge des étiquettes des objets sécurisables Unity Catalog. Pour les distinguer des étiquettes dbt, qui sont des métadonnées souvent utilisées pour sélectionner des modèles dans une opération dbt, ces étiquettes sont nommées databricks_tags dans la configuration des modèles.
• Plusieurs améliorations relatives aux performances de traitement des métadonnées.

Nouvelles API de paramètres de conformité et de sécurité (préversion publique)

23 mai 2024

Databricks a introduit de nouvelles API pour le profil de sécurité de conformité, la surveillance de la sécurité renforcée et les paramètres de mise à jour automatique de clusters dans les espaces de travail. Consultez l'article :

• API de profil de sécurité de conformité
• API de surveillance de la sécurité renforcée
• API de mise à jour automatique de clusters

Databricks Runtime 15.2 est en disponibilité générale

22 mai 2024

Databricks Runtime 15.2 et Databricks Runtime 15.2 ML sont désormais en disponibilité générale.

Consultez Databricks Runtime 15.2 et Databricks Runtime 15.2 pour Machine Learning.

Nouveau connecteur Tableau pour Delta Sharing

22 mai 2024

Le nouveau connecteur Tableau de Delta Sharing simplifie l’accès de Tableau Desktop aux données qui vous ont été partagées à l’aide du protocole de partage ouvert de Delta Sharing. Consultez Tableau : lire les données partagées.

Nouveaux exemples de modèle de recommandation de Deep Learning

22 mai 2024

Databricks a publié deux nouveaux exemples illustrant des modèles de recommandation de Deep Learning modernes, dont le modèle à deux tours et le modèle DLRM de Meta. Pour en savoir plus sur les modèles de recommandation de Deep Learning, consultez Entraîner des modèles de recommandation.

Lier des informations d’identification de stockage et des emplacements externes à des espaces de travail spécifiques (préversion publique)

22 mai 2024

Vous pouvez désormais lier des informations d’identification de stockage et des emplacements externes à des espaces de travail spécifiques, ce qui empêche l’accès à ces objets depuis d’autres espaces de travail. Cette fonctionnalité est particulièrement utile si vous utilisez des espaces de travail pour isoler l’accès aux données utilisateur, par exemple si vous avez des espaces de travail de production et de développement distincts, ou un espace de travail dédié pour la gestion des données sensibles.

Pour plus d’informations, consultez (Facultatif) Affecter un emplacement externe à des espaces de travail spécifiques et (Facultatif) Affecter des informations d’identification de stockage à des espaces de travail spécifiques.

Les dossiers Git sont en disponibilité générale

22 mai 2024

Les dossiers Git sont désormais en disponibilité générale. Consultez Intégration de Git pour dossiers Git Databricks. Si vous êtes un utilisateur de l’ancienne fonctionnalité « Repos », consultez Qu’est-il arrivé à Databricks Repos ?.

Modèles dont l’apprentissage a déjà été effectué dans Unity Catalog (préversion publique)

21 mai 2024

Databricks comprend désormais une sélection de modèles GenAI pré-entraînés de haute qualité dans Unity Catalog. Ces modèles pré-entraînés vous permettent d’accéder à des fonctionnalités d’IA de pointe pour vos workflows d’inférence, vous permettant ainsi d’économiser du temps et des dépenses liées à la création de vos propres modèles personnalisés. Consultez les Modèles pré-entraînés dans Unity Catalog et Place de marché Microsoft Azure.

Mosaïque AI Vector Search est en disponibilité générale

21 mai 2024

La recherche vectorielle Mosaic AI est désormais mis à la disposition générale. Consultez Recherche vectorielle Mosaic AI.

Autocomplétion de l’Assistant Databricks (préversion publique)

20 mai 2024

L’autocomplétion d’Assistant Databricks fournit des suggestions basées sur l’IA en temps réel lorsque vous écrivez dans des notebooks, des requêtes et des fichiers. Pour l’activer, accédez à Paramètres>Développeur>Fonctionnalités expérimentales et activez Autocomplétion d’Assistant Databricks. Pour plus d’informations, consultez Autocomplétion basée sur l’IA.

Prise en charge de Meta Llama 3 dans Foundation Model Training

20 mai 2024

Foundation Model Training prend désormais en charge Meta Llama 3. Consultez le réglage précis du modèle Foundation.

Nouvelles modifications apportées à l’interface utilisateur du dossier Git

17 mai 2024

Vous avez peut-être constaté quelques modifications dans l’interface utilisateur pour les interactions de dossiers Git. Nous avons ajouté les éléments suivants :

• Lorsque vous partagez un dossier Git, vous verrez une nouvelle alerte dans une bannière qui vous invite à Copier le lien pour créer un dossier Git. Lorsque vous cliquez sur le bouton, une URL est copiée dans le presse-papiers local, que vous pouvez envoyer à un autre utilisateur. Lorsque ce destinataire charge cette URL dans un navigateur, il est dirigé vers l’espace de travail où il peut créer son propre dossier Git cloné à partir du même référentiel Git distant. Lorsque le destinataire accède à l’URL, ils verront dans l’interface utilisateur une boîte de dialogue Créer un dossier Git préremplie avec les valeurs extraites de votre dossier Git.

  

• De même, un nouveau bouton, Créer un dossier Git, apparaît sur une nouvelle bannière d’alerte lorsque vous affichez un dossier Git créé par un autre utilisateur. Cliquez sur ce bouton pour créer votre propre dossier Git pour le même référentiel Git, selon des valeurs préremplies dans la boîte de dialogue Créer un dossier Git.

  

Foundation Model Training (Préversion publique)

13 mai 2024

Databricks prend désormais en charge Foundation Model Training (Apprentissage du modèle de fondation). Avec Foundation Model Training, vous utilisez vos propres données pour personnaliser un modèle de base afin d’optimiser ses performances pour votre application spécifique. L’ajustement ou l’apprentissage continu d’un modèle de fondation vous permet d’effectuer l’apprentissage de votre modèle en utilisant beaucoup moins de données, de temps et de ressources de calcul que lors de l’apprentissage d’un modèle à partir de zéro. Les données d’apprentissage, les points de contrôle et le modèle ajusté résident tous sur la plateforme Databricks et sont intégrés dans ses outils de gouvernance et de productivité.

Pour plus d’informations, consultez Réglage précis du modèle Foundation.

Autoriser les utilisateurs à copier des données dans le Presse-papiers depuis le tableau des résultats

9 mai 2024

Les administrateurs peuvent maintenant activer ou désactiver la possibilité pour les utilisateurs de copier des données dans le Presse-papiers depuis les tableaux de résultats. Avant, cette fonctionnalité était limitée aux notebooks. Maintenant, ce paramètre s’applique aux interfaces suivantes :

• Blocs-notes
• Tableaux de bord
• Espaces Genie
• Explorateur de catalogues
• Éditeur de fichiers
• Éditeur SQL

La longueur des valeurs des étiquettes d’attribut pour les objets Unity Catalog peut désormais être de 1 000 caractères (préversion publique)

8 mai 2024

Les valeurs des étiquettes d’attribut dans Unity Catalog peuvent désormais comporter jusqu’à 1 000 caractères. La limite de caractères pour les clés de balise reste 255. Consultez Appliquer des étiquettes aux objets sécurisables Unity Catalog.

Nouvelle page Préversions

8 mai 2024

Activez et gérez l’accès aux préversions Databricks sur la nouvelle page Préversions. Consultez Gérer les préversions d’Azure Databricks.

Nouvelles fonctionnalités pour la recherche vectorielle d’IA de Mosaïque

8 mai 2024

Les nouvelles fonctionnalités sont les suivantes :

• Les listes d’accès IP sont désormais prises en charge.
• Les clés gérées par le client (CMK) sont désormais prises en charge sur les points de terminaison créés à partir du 8 mai 2024. La prise en charge de la recherche vectorielle pour CMK est en préversion publique.
• Amélioration des journaux d’audit et du suivi des attributions de coûts. Consultez Informations de référence sur les journaux de diagnostic.
• Vous pouvez désormais enregistrer des incorporations générées sous forme de table Delta. Voir Création d’un index de recherche vectorielle.

Consultez Recherche vectorielle Mosaic AI.

Le passage des informations d’identification et les contrôles d’accès aux tables du metastore Hive sont mis hors service

7 mai 2024

Le passage des informations d’identification et les contrôles d’accès aux tables du metastore Hive sont obsolètes sur Databricks Runtime 15.0 et la prise en charge sera supprimée dans une prochaine version de DBR.

Effectuez une mise à niveau vers Unity Catalog pour simplifier la sécurité et la gouvernance de vos données en offrant un emplacement central pour administrer et auditer l’accès aux données entre les différents espaces de travail de votre compte. Consultez Qu’est-ce que Unity Catalog ?.

Pilote JDBC Databricks 2.6.38

6 mai 2024

Nous avons publié la version 2.6.38 du pilote JDBC Databricks (télécharger). Cette version ajoute les nouvelles fonctionnalités et améliorations suivantes :

• Prise en charge de la requête paramétrable native si le serveur utilise SPARK_CLI_SERVICE_PROTOCOL_V8. La limite du nombre de paramètres d’une requête est 256 en mode natif de requête.
• Ingestion des données en utilisant la prise en charge d’un volume Unity Catalog. Découvrez plus d’informations sur les volumes Unity Catalog dans l’article, Se connecter au stockage d’objets cloud à l’aide de Unity Catalog. Pour l’utiliser. définissez UseNativeQuery sur 1.
• L’interface QueryProfile est ajoutée à IHadoopStatement pour permettre aux applications de récupérer un query id d’une requête. Vous pouvez utiliser l’query id pour extraire les métadonnées d’une requête en tirant parti des API REST Databricks.
• Les opérations asynchrones pour le Thrift de métadonnées effectuent un appel si le serveur utilise SPARK_CLI_SERVICE_PROTOCOL_V9. Pour utiliser cette fonctionnalité, définissez la propriété EnableAsyncModeForMetadataOperation sur 1.
• Prise en charge des assertions JWT. Le connecteur prend désormais en charge OAuth d’assertion JWT en utilisant les informations d’identification du client. Pour ce faire, définissez la propriété UseJWTAssertion sur 1.

Cette version résout également les problèmes suivants :

• Mises à jour des bibliothèques Jackson. Le connecteur utilise maintenat les bibliothèques suivantes pour l’analyseur JSON Jackson : jackson-annotations 2.16.0 (précédemment 2.15.2), jackson-core 2.16.0 (précédemment 2.15.2), jackson-databind-2.16.0 (précédemment 2.15.2)
• Le connecteur contient des fichiers de classe sans ombrage dans un répertoire META-INF.

Prise en charge du pare-feu pour le compte de stockage d’espace de travail en disponibilité générale

6 mai 2024

Lorsque vous créez un espace de travail Azure Databricks, un compte de stockage Azure est créé dans un groupe de ressources managé, appelé compte de stockage de l’espace de travail. Vous pouvez désormais activer un pare-feu pour limiter l’accès à votre compte de stockage d’espace de travail à partir uniquement de ressources et réseaux autorisés. Consultez Activer la prise en charge du pare-feu pour votre compte de stockage d’espace de travail.

Databricks Runtime 15.2 (bêta)

2 mai 2024

Databricks Runtime 15.2 et Databricks Runtime 15.2 ML sont désormais disponibles en versions bêta.

Consultez Databricks Runtime 15.2 et Databricks Runtime 15.2 pour Machine Learning.

Les notebooks détectent et permettent désormais l’autocomplétion des noms de colonnes pour les DataFrames Spark Connect.

1 mai 2024

Les notebooks Databricks détectent et affichent désormais automatiquement les noms de colonnes dans les DataFrames Spark Connect, et vous permettent d’utiliser l’autocomplétion pour sélectionner des colonnes.