Juillet 2024

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en juillet 2024.

Limite accrue pour les tâches simultanées

31 juillet 2024

La limite de l’espace de travail pour les tâches exécutées simultanément a été élevée à 2 000. Consultez l’article Limites des ressources.

Incorporer et glisser-déposer des images dans des notebooks

31 juillet 2024

Vous pouvez désormais afficher des images dans des notebooks en les incorporant directement dans les cellules Markdown. Faites glisser et déposez des images de votre bureau directement dans des cellules Markdown pour les charger et les afficher automatiquement. Voir Afficher des images et Glisser-déposer des images.

Palette de commandes disponible dans les notebooks

31 juillet 2024

Vous pouvez maintenant effectuer rapidement des actions dans le notebook en utilisant la palette de commandes. Appuyez sur Cmd+Maj+P sur MacOS ou Ctrl+Maj+P sur Windows quand vous êtes dans un notebook pour accéder aux actions fréquemment utilisées. Consultez Palette de commandes.

Schéma système de workflow renommé lakeflow

31 juillet 2024

Le schéma workflow est mis à jour vers lakeflow. Nous vous recommandons de passer à lakeflow, afin d’inclure toutes les tables actuelles ainsi que les nouvelles tables à l’avenir, comme les pipelines. Les clients doivent accepter le schéma lakeflow pour le rendre visible dans leur metastore. Consultez Référence de la table du système des travaux.

LakeFlow Connect (préversion publique contrôlée)

31 juillet 2024

LakeFlow Connect offre des connecteurs natifs qui vous permettent d’ingérer des données provenant de bases de données et d’applications d’entreprise, et de les charger dans Azure Databricks. LakeFlow Connect tire parti de lectures et d’écritures incrémentielles efficaces pour rendre l’ingestion de données plus rapide, évolutive et plus économique, vos données restant à jour pour une consommation en aval.

Salesforce Sales Cloud, Microsoft Azure SQL Database, Amazon RDS pour SQL Server et Workday sont actuellement pris en charge. Consultez LakeFlow Connect.

La prise en charge du stockage Cloudflare R2 est en disponibilité générale.

30 juillet 2024

La possibilité d’utiliser Cloudflare R2 comme stockage cloud pour des données inscrites dans Unity Catalog est maintenant en disponibilité générale. Cloudflare R2 est principalement destiné aux cas d’usage du Delta Sharing dans lesquels vous souhaitez éviter les frais de sortie des données facturés par les fournisseurs de cloud lorsque les données transitent d’une région à l’autre. Le stockage R2 prend en charge toutes les données de Databricks et les ressources d’IA prises en charge dans AWS S3, Azure Data Lake Storage Gen2 et Google Cloud Storage. La prise en charge de R2 nécessite un entrepôt SQL, ou Databricks Runtime 14.3 ou ultérieur. Consultez Utiliser les réplicas de Cloudflare R2 ou migrer le stockage vers R2 et Créer des informations d’identification de stockage pour se connecter à Cloudflare R2.

Surveiller les activités de l’Assistant Databricks avec des tables système (préversion publique)

30 juillet 2024

Vous pouvez désormais surveiller les activités de l’Assistant Databricks dans un tableau de bord en utilisant des tables système. Pour plus d'informations, consultez Référence et exemple de table système de l’Assistant Databricks.

Le partage de schémas en utilisant Delta Sharing est désormais en disponibilité générale.

30 juillet 2024

La possibilité de partager des schémas en utilisant Delta Sharing est en disponibilité générale. Le fait de partager un schéma entier donne au destinataire un accès à toutes les tables et vues du schéma au moment où vous le partagez, ainsi qu’à toutes les tables et vues ajoutées ultérieurement au schéma. L’ajout de schémas à un partage à l’aide de commandes SQL nécessite un entrepôt SQL ou un cluster exécutant Databricks Runtime 13.2 ou une version ultérieure. Faire la même chose avec Catalog Explorer n’implique aucune exigence de calcul. Référez-vous à la sectionAjouter des schémas à un partage.

Mosaic AI Agent Framework est disponible dans northcentral et centralus

29 juillet 2024

Mosaic AI Agent Framework est désormais disponible dans les régions northcentral et centralus. Consultez Fonctionnalités avec une disponibilité régionale limitée.

L’Assistant Databricks peut diagnostiquer les problèmes liés aux travaux (préversion publique)

29 juillet 2024

Databricks Assistant peut désormais diagnostiquer les problèmes liés aux travaux ayant échoué. Consultez Diagnostiquer les erreurs dans les travaux.

Mises à jour des comportements d’authentification et de partage des dossiers Git Databricks

29 juillet 2024

• Gestion de l’authentification basée sur la boîte de dialogue du dossier Git : l’expérience utilisateur est désormais simplifiée pour aider les utilisateurs à se remettre des erreurs d’authentification lors de l’ouverture de la boîte de dialogue du dossier Git. Dans la boîte de dialogue, vous pouvez mettre à jour les informations d’identification Git directement, ce qui déclenche une nouvelle tentative automatique. Vous pouvez utiliser cette approche pour vous aider à résoudre les erreurs d’authentification.
  • Lorsqu’une erreur d’authentification se produit, la boîte de dialogue du dossier Git affiche désormais le fournisseur et l’URL du dossier Git dans l’erreur. Comme ces informations étaient auparavant masquées, il était difficile de savoir quelles informations d’identification Git devaient être utilisées pour résoudre l’erreur.
• Partage de dossier Git : les utilisateurs peuvent désormais partager un lien URL avec d’autres utilisateurs de l’espace de travail. Lorsque l’URL est ouverte dans le navigateur du destinataire, Databricks s’ouvre et lance la boîte de dialogue Ajouter un dossier Git existante avec des valeurs préremplies (comme le fournisseur Git et l’URL du référentiel Git). Cela simplifie le clonage de dossiers Git pour les référentiels Git couramment utilisés par les utilisateurs de votre espace de travail. Pour plus d’informations, consultez Meilleure pratique : collaboration dans Dossiers Git.
  • Les utilisateurs sont maintenant invités à créer leurs propres dossiers Git dans leur propre espace de travail plutôt que de travailler en collaboration dans le dossier Git d’un autre utilisateur.
  • L’état de la boîte de dialogue du dossier Git est désormais rendu persistant dans votre URL. Si vous copiez l’URL à partir de votre navigateur lorsque la boîte de dialogue du dossier Git est ouverte, elle peut être ouverte ultérieurement ou partagée avec un autre utilisateur et les mêmes informations seront affichées.
• Vue des différences des dossiers Git : dans la vue des différences des dossiers Git, une mise en surbrillance plus foncée en rouge et en vert a été ajoutée pour le texte remplacé et pour plusieurs lignes de modifications, ce qui permet de déterminer plus facilement ce qui a changé dans les modifications non validées.
  • L’ouverture de la boîte de dialogue du dossier Git à partir d’un éditeur de notebook ou de fichier sélectionne ce notebook ou ce fichier dans la boîte de dialogue du dossier Git et affiche les modifications (différences) par défaut.

Délai d’expiration de l’installation des bibliothèques de cluster

29 juillet 2024

L’installation d’une bibliothèque sur des clusters est désormais soumise à un délai d’expiration de 2 heures. Une bibliothèque dont l’installation a pris plus de 2 heures est marquée comme ayant échoué. Pour plus d’informations sur les bibliothèques de cluster, consultez Bibliothèques de cluster.

Les adresses IP sortantes du plan de calcul doivent être ajoutées à une liste verte d’adresses IP de l’espace de travail

29 juillet 2024

Quand vous configurez la connectivité de cluster sécurisée et les listes d’accès IP sur un nouvel espace de travail, vous devez ajouter toutes les IP publiques utilisées par le plan de calcul pour accéder au plan de contrôle à une liste verte ou configurer une liaison privée back-end. Ce changement aura un impact sur tous les nouveaux espaces de travail le 29 juillet 2024 et sur les espaces de travail existants le 26 août 2024. Pour plus d’informations, consultez la publication de la communauté Databricks.

Par exemple, si vous activez la connectivité de cluster sécurisée sur un espace de travail qui utilise l’injection de VNet, Databricks recommande que votre espace de travail dispose d’une IP publique de sortie stable. Cette IP publique et toutes les autres doivent être incluses dans une liste verte. Consultez Adresses IP de sortie lors de l’utilisation de la connectivité de cluster sécurisée. Sinon, si vous utilisez un VNet managé par Azure Databricks et que vous configurez la passerelle NAT managée pour accéder aux IP publiques, ces IP doivent être dans une liste verte.

Voir Configurer des listes d’accès IP pour les espaces de travail.

Extension du support pour la série Databricks Runtime 9.1

26 juillet 2024

Le support de Databricks Runtime 9.1 LTS et Databricks Runtime 9.1 LTS pour le Machine Learning a été prolongé du 23 septembre 2024 au 19 décembre 2024.

L’authentification unique (SSO) est prise en charge dans Lakehouse Federation pour SQL Server.

25 juillet 2024

Unity Catalog vous permet désormais de créer des connexions SQL Server en utilisant l’authentification unique. Consultez Exécuter des requêtes fédérées sur Microsoft SQL Server.

Le partage de modèles en utilisant Delta Sharing est désormais en disponibilité générale.

26 juillet 2024

La prise en charge de Delta Sharing pour le partage de modèles IA est désormais en disponibilité générale. Les espaces de travail du fournisseur et du destinataire doivent être tous deux activés pour Unity Catalog, et les modèles doivent être inscrits dans Unity Catalog.

Consultez Ajouter des modèles à un partage.

Partager des commentaires et des contraintes de clé primaire en utilisant Delta Sharing

25 juillet 2024

Delta Sharing prend désormais en charge le partage de métadonnées d’objet, y compris les commentaires et les contraintes de clé primaire :

• Les commentaires de modèle et les commentaires de version de modèle ont été inclus dans les partages Databricks à Databricks depuis un certain temps, mais n’ont pas été annoncés.

• Les commentaires de table, les commentaires de colonne, les contraintes de clé primaire et les commentaires de volume sont désormais inclus dans les partages Databricks à Databricks qui ont été partagés avec le destinataire à compter du 25 juillet 2024.

  Si vous voulez inclure des commentaires ou des contraintes dans un partage qui a été partagé avec un destinataire avant cette date, vous devez révoquer puis réaccorder l’accès du destinataire pour déclencher le partage des commentaires et des contraintes.

Consultez Créer et gérer des partages pour Delta Sharing.

Nouveau pilote JDBC Databricks (OSS)

25 juillet 2024

Un nouveau pilote JDBC Databricks open source a été publié en préversion publique. Ce pilote a implémenté les API JDBC, et fournit d’autres fonctionnalités de base, notamment OAuth, Cloud Fetch et des fonctionnalités telles que l’ingestion de volume Unity Catalog. Pour plus d’informations, consultez Pilote Databricks JDBC (OSS).

Databricks Runtime 15.4 LTS (bêta)

23 juillet 2024

Databricks Runtime 15.4 LTS et Databricks Runtime 15.4 LTS ML sont désormais disponibles en version bêta.

Consultez Databricks Runtime 15.4 LTS et Databricks Runtime 15.4 LTS pour le Machine Learning.

Scala est en disponibilité générale sur le calcul partagé Unity Catalog

23 juillet 2024

Dans Databricks Runtime 15.4 LTS et ultérieur, Scala est en disponibilité générale sur le calcul compatible avec Unity Catalog en mode d’accès partagé, avec notamment la prise en charge des fonctions scalaires définies par l’utilisateur. Les fonctions d’agrégation définies par l’utilisateur Hive, les fonctions définies par l’utilisateur Hive et Structured Streaming ne sont pas pris en charge. Pour obtenir la liste complète des limitations, consultez Limitations du mode d’accès du calcul pour Unity Catalog.

Le calcul mono-utilisateur prend en charge le contrôle d’accès affiné, les vues matérialisées et les tables de diffusion en continu

23 juillet 2024

Databricks Runtime 15.4 LTS introduit la prise en charge du contrôle d’accès affiné sur le calcul mono-utilisateur, tant que l’espace de travail est activé pour le calcul serverless. Lorsqu’une requête accède à l’une des ressources de calcul de l’utilisateur unique sur Databricks Runtime 15.4 LTS passe la requête au calcul serverless pour exécuter le filtrage des données :

• Vues créées sur des tables sur lesquelles l’utilisateur n’a pas le privilège SELECT
• Vues dynamiques
• Tables auxquelles des filtres de lignes ou des masques de colonne sont appliqués.
• Vues matérialisées et tables de diffusion en continu

Ces requêtes ne sont pas prises en charge sur le calcul mono-utilisateur s’exécutant sur Databricks Runtime 15.3 et versions ultérieures.

Pour plus d’informations, consultez Contrôle d’accès affiné sur le calcul d’un seul utilisateur.

La table système de la chronologie de nœud est désormais disponible (préversion publique)

23 juillet 2024

Le schéma system.compute inclut désormais une table node_timeline . Cette table journalise les métriques d’utilisation minute par minute pour les ressources de calcul à usage unique et les travaux exécutés dans votre compte. Consultez le Schéma de la table de chronologie de nœud.

Meta Llama 3.1 est désormais pris en charge dans Model Serving pour Azure

23 juillet 2024

Le service de modèle Mosaic AI a collaboré avec Meta pour prendre en charge Meta Llama 3.1, une architecture de modèle créée et formée par Meta, et distribuée par Azure Machine Learning avec le Catalogue de modèles AzureML. Llama 3.1 est pris en charge dans le cadre des API Foundation Model. Consultez Utiliser les API Foundation Model.

• Meta-Llama-3.1-405B-Instruct et Meta-Llama-3.1-70B-Instruct sont disponibles dans les régions de point de terminaison de service avec paiement par jeton.
• L’utilisation de la production de la suite complète de modèles Llama 3.1 (8B, 70B et 405B) est disponible aux États-Unis à l’aide d’un débit approvisionné.

Depuis le 23 juillet 2024, Meta-Llama-3.1-70B-Instruct remplace la prise en charge de Meta-Llama-3-70B-Instruct dans les points de terminaison de paiement par jeton des API Foundation Model.

Notebooks : activer/désactiver des titres de cellule plus visibles

18 juillet 2024

Les utilisateurs peuvent activer Afficher les titres des cellules promues dans leurs paramètres de développeur pour rendre les titres de cellule de notebook plus visibles dans l’interface utilisateur. Voir Titres des cellules promues

/ dans les noms des ressources d’espace de travail est déconseillé

17 juillet 2024

Pour éviter toute ambiguïté dans les chaînes de chemin d’accès, l’utilisation de « / » dans les noms des nouvelles ressources d’espace de travail (tels que les blocs-notes, les dossiers et les requêtes) a été supprimée. Les ressources existantes avec « / » dans leurs noms ne sont pas affectées, mais le renommage des ressources existantes suit les mêmes règles que les nouvelles ressources.

Delta Sharing vous permet de partager des tables qui utilisent le clustering liquide

16 juillet 2024

Delta Sharing vous permet désormais de partager des tables activées pour le clustering liquide, et les destinataires peuvent exécuter des requêtes par lots sur celles-ci. Le clustering liquide simplifie les décisions de disposition des données et optimise le niveau de performance des requêtes. Consultez Utiliser le clustering liquide pour les tables Delta et Matrice de prise en charge des fonctionnalités Delta Lake.

La table système d’historique des requêtes est désormais disponible (préversion publique)

16 juillet 2024

Les tables système Azure Databricks incluent désormais une table d’historique des requêtes. Cette table enregistre des enregistrements détaillés de chaque requête exécutée sur un entrepôt SQL dans votre compte. Pour accéder à la table, les administrateurs doivent activer le nouveau schéma système query. Consultez Informations de référence sur la table système de l’historique des requêtes.

Les rapports d’analyse des vulnérabilités sont désormais envoyés par e-mail aux administrateurs

16 juillet 2024

Les rapports d’analyse des vulnérabilités sont désormais envoyé par e-mail aux administrateurs de l’espace de travail dans les espaces de travail qui permettent une surveillance améliorée de la sécurité. Auparavant, les administrateurs de l’espace de travail devaient les demander auprès d’Azure Databricks. See Enhanced security monitoring.

Journalisation des métadonnées de partition pour les tables externes Unity Catalog

15 juillet 2024

Dans Databricks Runtime 13.3 LTS et ultérieur, vous pouvez activer la journalisation des métadonnées de partition pour les tables externes inscrites auprès d’Unity Catalog qui utilisent le format Parquet, ORC, CSV ou JSON. La journalisation des métadonnées de partition est une stratégie de découverte de partition cohérente avec le metastore Hive. Consultez Découverte de partitions pour les tables externes.

Le calcul serverless pour les workflows est en disponibilité générale

15 juillet 2024

Le calcul serverless pour les workflows est maintenant en disponibilité générale. Le calcul serverless pour les flux de travail vous permet d’exécuter votre travail Azure Databricks sans configurer et déployer l’infrastructure. Avec le calcul serverless pour les flux de travail, Azure Databricks gère efficacement les ressources de calcul qui exécutent votre travail, notamment l’optimisation et la mise à l’échelle du calcul pour vos charges de travail. Consultez Exécuter votre tâche Azure Databricks avec un calcul serverless pour les flux de travail.

Le calcul serverless pour les notebooks est en disponibilité générale

15 juillet 2024

Le calcul serverless pour les notebooks est maintenant en disponibilité générale. Le calcul serverless pour les notebooks vous donne un accès à la demande au calcul évolutif dans les notebooks, ce qui vous permet d’écrire et d’exécuter immédiatement votre code Python ou SQL. Consultez Calcul serverless pour les notebooks.

Databricks Connect pour Python prend désormais en charge le calcul serverless

15 juillet 2024

Databricks Connect pour Python prend désormais en charge la connexion au calcul serverless. Cette fonctionnalité est disponible en préversion publique. Consultez Configurer une connexion au calcul serverless.

Filtrer les sorties de données avec des prompts en langage naturel

11 juillet 2024

Vous pouvez désormais utiliser l’Assistant Databricks pour filtrer les sorties de données en utilisant des prompts en langage naturel. Par exemple, pour filtrer la table de données des survivants du Titanic, vous pouvez taper « Afficher seulement les hommes plus de 70 ». Consultez Filtrer les données avec des prompts en langage naturel.

Prise en charge des secrets en texte en clair pour les modèles externes

11 juillet 2024

Vous pouvez désormais entrer directement des clés API sous forme de chaînes en texte clair pour les points de terminaison de service de modèle qui hébergent les modèles externes. Consultez Configurer le fournisseur pour un point de terminaison.

Prévision des données de série chronologique à l’aide de ai_forecast()

11 juillet 2024

AI Functions prend désormais en charge ai_forecast(), une nouvelle fonction Databricks SQL pour les analystes et les scientifiques des données qui a été conçue pour extrapoler les données de série chronologique dans le futur. Consultez ai_forecast, fonction.

La prise en charge des tâches de fichier SQL pour les fichiers avec des requêtes SQL à instructions multiples est en disponibilité générale

10 juillet 2024

La prise en charge de l’utilisation de fichiers qui contiennent des requêtes SQL à instructions multiples avec la tâche de fichier SQL est désormais en disponibilité générale. Cette modification vous permet d’exécuter plusieurs instructions SQL depuis un seul fichier. Avant cela, vous deviez ajouter un fichier distinct pour chaque instruction. Pour en savoir plus sur la tâche de fichier SQL, consultez Tâche SQL pour les travaux.

Lakehouse Federation prend en charge Salesforce Data Cloud (préversion publique)

10 juillet 2024

Vous pouvez désormais exécuter des requêtes fédérées sur des données gérées par Salesforce Data Cloud. Consultez Exécuter des requêtes fédérées sur Salesforce Data Cloud.

Table système de l’Assistant Databricks maintenant disponible (préversion publique)

10 juillet 2024

Les événements de l’Assistant Databricks sont désormais journalisés dans une table système située dans system.access.assistant_events. Consultez Référence et exemple de table système de l’Assistant Databricks.

API SCIM de compte v2.1 (préversion publique)

10 juillet 2024

Les API SCIM de compte sont mises à jour de v2.0 à v2.1 pour la vitesse et la fiabilité. Vous pouvez télécharger un PDF des Informations de référence sur les API SCIM de compte v2.1.

Augmentation du quota de ressources pour les tables par metastore Unity Catalog

3 juillet 2024

Votre metastore Unity Catalog peut désormais inscrire jusqu’à un million de tables. Consultez Quotas de ressources.

L’Assistant Databricks peut diagnostiquer automatiquement les erreurs de bloc-notes

2 juillet 2024

L’Assistant Databricks peut désormais exécuter automatiquement /fix dans les blocs-notes lorsqu’il détecte un message d’erreur. L’Assistant utilise l’IA générative pour analyser votre code et le message d’erreur pour suggérer un correctif directement dans votre bloc-notes. Pour plus d’informations, consultez Code de débogage : exemples Python et SQL.

La prise en charge de la syntaxe :param avec la tâche de fichier SQL est en disponibilité générale

1er juillet 2024

La prise en charge de l’utilisation de la syntaxe :param avec des requêtes paramétrables dans la tâche de fichier SQL des travaux Azure Databricks est généralement disponible. Vous pouvez maintenant référencer des paramètres de requête en préfixant leurs noms avec un signe deux-points (:parameter_name). Cette syntaxe s’ajoute à la prise en charge existante de la syntaxe à accolades doubles ({{parameter_name}}). Pour en savoir plus sur l’utilisation de requêtes paramétrables avec la tâche de fichier SQL, consultez Configurer les paramètres d’un travail.