Août 2024

Ces fonctionnalités et ces améliorations de la plateforme Azure Databricks ont été publiées en août 2024.

Surveiller l’utilisation de l’objet Unity Catalog par rapport aux quotas à l’aide des nouvelles API Quotas de ressources

30 août 2024

Les nouvelles API Quotas de ressources vous permettent de surveiller l’utilisation de vos objets sécurisables Unity Catalog par rapport aux quotas de ressources. Bientôt, vous pourrez également recevoir des notifications par e-mail lorsque vous approcherez des limites de quota. Consultez Surveiller l’utilisation de vos quotas de ressources Unity Catalog et Référence sur l’API Quotas de ressources.

Mises hors service des modèles MPT 7B Instruct et MPT 30B Instruct

30 août 2024

Les modèles MPT 7B Instruct et MPT 30B Instruct sont désormais hors service. Consultez Modèles hors service pour connaître les modèles de remplacement recommandés.

AskSupport remplacé par l’assistant Azure Databricks

29 août 2024

AskSupport, le canal de support basé sur Databricks Slack, a été remplacé par l’Assistant Databricks, disponible dans votre espace de travail Databricks. Utilisez l’Assistant Databricks pour rechercher de la documentation technique, créer des tickets et obtenir un support avec prise en compte du contexte.

Pour utiliser l’Assistant IA, l’Assistant IA doit être activé dans votre console de compte.

Tableau de bord de gestion des coûts importable ajouté à la console de compte (préversion publique)

28 août 2024

Les administrateurs de compte peuvent désormais importer un tableau de bord de gestion des coûts personnalisable à partir de la console de compte depuis n’importe quel espace de travail du catalogue Unity vers leur compte. Il existe deux versions du tableau de bord : une qui surveille l’utilisation à l’échelle du compte et une autre pour l’utilisation d’un espace de travail unique.

Les tables système Lakeflow sont étendues avec des colonnes supplémentaires

23 août 2024

Les tables du schéma system.lakeflow sont étendues avec des colonnes supplémentaires. Les modifications suivantes seront apportées :

• jobs est étendue avec la colonne description.
• job_run_timeline est étendue avec les colonnes run_type, run_name, compute_ids, termination_code et job_parameters.
• job_task_run_timeline est étendue avec les colonnes job_run_id, parent_run_id et termination_code.

Le changement de schéma est insécable et n’interrompt pas vos flux de travail existants. Les nouvelles colonnes ne seront pas réapprovisionnée pour les lignes déjà émises. Pour plus d’informations, consultez Référence de table système des travaux.

Erreurs de mise en forme du code Python en surbrillance

23 août 2024

Le code Python dans les notebooks et les éditeurs de fichiers peut mettre en évidence des erreurs de mise en forme et des avertissements tels que la mise en retrait inattendue, la longueur de ligne longue et bien plus encore. Consultez Mise en surbrillance de la mise en forme Python.

DeltaSharing : plus de fonctionnalités Delta Lake désormais prises en charge par les connecteurs Python et Power BI

21 août 2024

Le connecteur Python de Delta Sharing 1.1.0+ et Power BI v2.132.908.0+ prennent désormais en charge :

• Mode de nom de mappage de colonne
• Vecteurs de suppression
• Format uniforme

Ces fonctionnalités Delta Lake étaient déjà été prises en charge sur Databricks Runtime 14.1+ et le connecteur Apache Spark de Delta Sharing open source 3.1+.

Consultez Matrice de prise en charge des fonctionnalités Delta Lake.

Delta Sharing ajoute la prise en charge de TimestampNTZ

21 août 2024

Delta Sharing ajoute la prise en charge de TimestampNTZ sur Databricks Runtime 14.1 et versions ultérieures et sur le connecteur Apache Spark de Delta Sharing open source 3.3 et versions ultérieures.

Consultez Matrice de prise en charge des fonctionnalités Delta Lake.

La tâche Travaux Azure Databricks For each est en disponibilité générale

21 août 2024

La tâche For each est désormais en disponibilité générale. Vous pouvez utiliser la tâche For each pour exécuter une autre tâche dans une boucle, en passant un ensemble différent de paramètres à chaque itération de la tâche. La tâche For each peut itérer sur l’une des tâches de travail standard, telles qu’un notebook, un fichier JAR, un script Python ou une tâche SQL. Consultez Exécuter une tâche de travail Azure Databricks paramétrable dans une boucle.

Autorisation RBAC Azure pour les administrateurs d’espace de travail

20 août 2024

Auparavant, le rôle Contributeur ou Propriétaire prédéfini Azure RBAC (contrôle d’accès en fonction du rôle) était requis pour accorder à un utilisateur le rôle d'administrateur de l’espace de travail Azure Databricks à partir d’Azure. Vous pouvez maintenant créer un rôle RBAC Azure personnalisé disposant de l’autorisation Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action d’accorder à un utilisateur le rôle d'administrateur de l’espace de travail Azure Databricks. Ces utilisateurs peuvent gérer leur service Azure Databricks et configurer la journalisation des diagnostics. Pour plus d’informations, consultez Autorisations requises pour l’administration d’Azure.

Databricks Runtime 15.4 LTS est en disponibilité générale

19 août 2024

Databricks Runtime 15.4 LTS et Databricks Runtime 15.4 LTS ML sont désormais en disponibilité générale.

Consultez Databricks Runtime 15.4 LTS et Databricks Runtime 15.4 LTS pour le Machine Learning.

Saisie semi-automatique de notebook personnalisée

19 août 2024

La saisie semi-automatique de notebook priorise désormais les suggestions en fonction des métadonnées et de l’utilisation individuelles de Unity Catalog, en fournissant des classements de suggestions personnalisés pour chaque utilisateur. Voir Saisie semi-automatique personnalisée

Configurer le mode d’accès par défaut de votre espace de travail pour la capacité de calcul des travaux

16 août 2024

Les administrateurs d’espace de travail peuvent désormais configurer le mode d’accès par défaut pour la capacité de calcul des travaux dans leur espace de travail. Ce mode d’accès par défaut est appliqué aux ressources de calcul sans mode d’accès défini. Pour plus d’informations, consultez Mode d’accès par défaut pour la capacité de calcul des travaux.

Nouvelles commandes de barre oblique pour l’assistant Databricks

14 août 2024

L’assistant Databricks a ajouté les commandes de barre oblique suivantes en tant que raccourcis pour les tâches courantes :

• /findTables : recherche des tables pertinentes sur la base des métadonnées d'Unity Catalog.
• /findQueries : recherche des requêtes pertinentes sur la base des métadonnées d'Unity Catalog.
• /prettify : met en forme votre code dans un souci de lisibilité.
• /rename : suggère des noms mis à jour pour les cellules du notebook et d’autres éléments, en fonction du contexte.
• /settings : ajuste les paramètres de votre notebook directement à partir de l’assistant.

Pour plus d'informations, consultez Utiliser des commandes de barre oblique pour les invites.

La recherche d’espace de travail prend maintenant en charge les volumes

14 août 2024

Les volumes sont désormais inclus dans les résultats de recherche. Consultez Recherche des objets de l’espace de travail.

Modèles Meta Llama 3.1 405B pris en charge dans le réglage précis du modèle Foundation

14 août 2024

Les modèles Meta Llama 3.1 405B sont désormais pris en charge dans le réglage précis du modèle foundation. Consultez Modèles pris en charge.

Pilote JDBC Databricks 2.6.40

13 août 2024

Databricks JDBC Driver version 2.6.40 est maintenant disponible avec le téléchargement du pilote JDBC. Cette version supprime les messages de journal WARNING redondants pour améliorer la facilité d’utilisation et la sécurité de la journalisation.

Cette version inclut les nouvelles fonctionnalités et améliorations suivantes :

• Prise en charge des points de terminaison de découverte OIDC. Le pilote peut maintenant définir un point de terminaison de découverte OIDC pour récupérer un jeton et obtenir un point de terminaison d’autorisation.
• Prise en charge d’Arrow mise à jour. Le pilote utilise désormais Apache Arrow version 14.0.2. Les versions antérieures du pilote utilisaient Apache Arrow version 9.0.0.
• Prise en charge de ProxyIgnoreList. Le pilote prend désormais en charge la propriété ProxyIgnoreList quand UseProxy est défini sur 1.
• Prise en charge des jetons d’actualisation. Le pilote prend maintenant en charge un jeton d’actualisation facultatif. Il enregistre le jeton d’accès et le réutilise pour les nouvelles connexions tant que ce dernier est valide. Si le pilote ne peut pas renouveler le jeton d’accès avec le jeton d’actualisation, il se reconnecte.
• Prise en charge de l’authentification mise à jour. Le pilote prend désormais en charge l’authentification basée sur un navigateur (U2M) et les informations d’identification client (M2M) sur Google Cloud.
• Ajout d’options OAuth par défaut unifiées.
• Vous pouvez maintenant configurer le port de redirection OAuth. Pour ce faire, définissez la propriété OAuth2RedirectUrlPort sur votre port.

Pour obtenir des informations de configuration complètes, consultez le Guide du pilote JDBC Databricks installé avec le package de téléchargement du pilote.

Les jetons d’accès personnels Databricks sont révoqués s’ils ne sont pas utilisés après 90 jours

13 août 2024

Databricks révoque désormais automatiquement tous les jetons d’accès personnels (PAT) qui n’ont pas été utilisés en 90 jours ou plus. Pour plus d’informations, consultez Surveiller et révoquer des jetons d’accès personnels.

L’API Clusters prend désormais en charge les mises à jour de configuration partielles

13 août 2024

Un nouvel appel d’API vous permet de mettre à jour partiellement une configuration de cluster ; pour cela, vous spécifiez uniquement les attributs que vous souhaitez mettre à jour. Consultez Mettre à jour la configuration du cluster (partiellement) dans la référence de l’API REST.

Encapsuler des lignes dans les cellules du notebook

12 août 2024

Vous pouvez désormais activer ou désactiver l’encapsulage de ligne dans les cellules du notebook, ce qui permet au texte d’encapsuler plusieurs lignes ou de rester sur une seule ligne avec défilement horizontal. Consultez Retour automatique à la ligne.

Spécifier des colonnes à synchroniser pour la recherche vectorielle de mosaïque IA

12 août 2024

Vous pouvez maintenant spécifier un sous-ensemble de colonnes d’une table à utiliser dans un index de recherche vectorielle. La colonne clé primaire et la colonne d’incorporation sont toujours synchronisées. Consultez Comment créer et interroger un index de recherche vectorielle.

Les fichiers ne peuvent plus avoir de noms identiques dans les dossiers d’espace de travail

9 août 2024

Databricks vous empêche désormais de créer ou de renommer des ressources dans les dossiers d’espace de travail quand le nom d’une ressource correspond exactement au nom d’un autre fichier, en tenant compte de l’extension du fichier de la ressource. Par exemple, vous ne pouvez plus créer un fichier nommé test.py s’il existe déjà un notebook portant un nom de base test avec une extension .py dans le même dossier d’espace de travail.

Pour plus d’informations, consultez Dénomination des ressources dans les dossiers d’espace de travail.

Application de la stratégie de calcul désormais disponible

8 août 2024

L’application de la conformité des stratégies permet aux administrateurs de l’espace de travail de mettre à jour les ressources de calcul de leur espace de travail pour qu’elles soient conformes à la version la plus récente d’une stratégie. Cette fonctionnalité peut être utilisée dans l’interface utilisateur ou via l’API Stratégies de cluster.

Consultez Appliquer la conformité de la stratégie ou API Stratégies de cluster.

Les API Foundation Model avec paiement par jeton sont désormais en disponibilité générale

7 août 2024

Les API Foundation Model avec paiement par jeton sont désormais disponibles en disponibilité générale. Voir API Foundation Model avec paiement par jeton.

Collaborer sur des projets de données de façon sécurisée et confidentielle en utilisant Salles blanches Databricks (préversion publique)

6 août 2024

Salles blanches Databricks utilise Delta Sharing et le calcul serverless pour fournir un environnement sécurisé qui protège les données confidentielles là où plusieurs parties peuvent partager des données d’entreprise sensibles et collaborer sans accès direct aux données des autres.

Avec Salles blanches, les utilisateurs d’autres comptes Databricks peuvent collaborer pour générer des insights uniques sur des projets partagés, comme des campagnes publicitaires, des décisions d’investissement ou la recherche et le développement, sans déplacer ou exposer des données sensibles. Exécutez des charges de travail complexes dans un environnement éphémère en utilisant n’importe quel langage pris en charge par les notebooks Databricks, y compris Python, ce qui permet une prise en charge native des charges de travail Machine Learning.

Pour l’essayer, contactez votre représentant Azure Databricks.

Consultez Présentation de Salles blanches Azure Databricks.

La recherche vectorielle Mosaïque AI est désormais conforme à HIPAA

6 août 2024

La recherche vectorielle Mosaïque AI est désormais conforme HIPAA dans toutes les régions.

Mettre en forme des colonnes dans des tables de résultats de notebook et de requête

6 août 2024

Personnalisez vos tables de résultats pour être plus lisibles avec des options de mise en forme de colonne telles que Devise, Pourcentage, URL, contrôle sur les décimales, etc. Consultez Mettre en forme les colonnes.

Les filtres de ligne et les masques de colonnes sont désormais en disponibilité générale, avec des améliorations.

6 août 2024

La possibilité d’appliquer des filtres de lignes et des masques de colonne aux tables est désormais en disponibilité générale sur Databricks Runtime 12.2 et ultérieur. Les filtres de lignes et les masques de colonnes empêchent l’accès aux données sensibles par des utilisateurs spécifiés. Ces filtres et masques sont implémentés en tant que fonctions définies par l’utilisateur SQL. La disponibilité générale prend en charge les fonctionnalités suivantes qui n’étaient pas disponibles dans la préversion publique :

• Expressions de constantes dans les paramètres de stratégie (chaînes, numériques, intervalles, booléens, null).

• Vues matérialisées et tables de diffusion en continu (préversion publique)

• Instructions MERGE.

• Échantillonnage de table.

La prise en charge distincte du contrôle d’accès affiné sur le calcul mono-utilisateur développe également les options de calcul pour travailler sur des tables avec des filtres de lignes et des masques de colonne appliqués.

Consultez Filtrer les données de table sensibles à l’aide de filtres de lignes et de masques de colonne.

Lakehouse Federation est en disponibilité générale (GA)

1er août 2024

Dans Databricks Runtime 15.2 et ultérieur et Databricks SQL version 2024.30 et ultérieures, les connecteurs Lakehouse Federation pour les types de base de données suivants sont en disponibilité générale :

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse (SQL Data Warehouse)
• Databricks

Cette version présente également les améliorations suivantes :

• Prise en charge de l’authentification unique (SSO) dans les connecteurs Snowflake et Microsoft SQL Server.

• Prise en charge d’Azure Private Link dans le connecteur SQL Server depuis des environnements de calcul serverless. Consultez l’Étape 3 : Créer des règles de point de terminaison privé.

• Prise en charge de pushdowns supplémentaires (chaîne, mathématiques et fonctions diverses).

• Amélioration du taux de réussite des pushdowns sur différentes formes de requête.

• Fonctionnalités de débogage des pushdowns supplémentaires :

  • La sortie EXPLAIN FORMATTED affiche le texte de la requête poussée vers le bas (pushed-down).
  • L’interface utilisateur du profil de requête affiche les temps d’exécution de la requête poussée vers le bas (pushed-down), les identificateurs de nœud fédéré et les temps d’exécution des requêtes JDBC (en mode détaillé). Consultez Afficher les requêtes fédérées générées par le système.