Février 2020

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en février 2020.

Databricks Runtime 6.4 pour Genomics GA

26 février 2020

Databricks Runtime 6.4 pour Genomics est basé sur Databricks Runtime 6.4. La version comprend de nombreuses améliorations et mises à niveau de Databricks Runtime 6.3 pour Genomics.

Les fonctionnalités clés sont les suivantes :

• Vous pouvez désormais personnaliser les utilisateurs du pipeline DNASeq de manière sélective pour désactiver toute combinaison légitime des étapes d’alignement de lecture, d’appel ds variants et d’annotation desvariants. Les utilisateurs peuvent également effectuer un alignement de lecture d’un seul côté.
• La version de Glow comprise dans Databricks Runtime 6.4 pour Genomics inclut désormais des API Python et Scala pour les fonctions précédemment exposées uniquement via des expressions SQL. Ces fonctions étant disponibles pour les opérations de DataFrame, elles améliorent la sécurité au moment de la compilation.

Databricks Runtime 6.4 ML GA

26 février 2020

Databricks Runtime 6.4 ML, disponibilité générale, apporte de nombreuses mises à niveau de bibliothèque, notamment :

• PyTorch : 1.3.1 à 1.4.0
• Horovod : 0.18.2 à 1.19.0

Pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6.4 pour ML (fin de support).

Databricks Runtime 6.4 GA

26 février 2020

Databricks Runtime 6.4, disponibilité générale, apporte de nouvelles fonctionnalités, des améliorations et de nombreux correctifs de bogues.

• Traitez les nouveaux fichiers de données de façon incrémentielle avec Auto Loader (préversion publique) Auto Loader vous offre un moyen plus efficace de traiter les nouveaux fichiers de données de manière incrémentielle au fur et à mesure qu’ils arrivent dans un magasin d’objets blob dans le cloud pendant l’ETL. Il s’agit d’une amélioration par rapport au flux structuré basé sur des fichiers, qui identifie les nouveaux fichiers en répertoriant de façon répétée l’annuaire cloud et en suivant les fichiers qui ont été vus, ce qui peut s’avérer très inefficace à mesure que l’annuaire s’agrandit.
• Chargez des données dans Delta Lake avec des nouvelles tentatives idempotent (préversion publique). La commande SQL COPY INTO vous permet de charger des données dans Delta Lake avec des nouvelles tentatives idempotent (préversion publique). Aujourd’hui, pour charger des données dans Delta Lake, vous devez utiliser les API DataFrame Apache Spark. En cas d’échec lors des chargements, vous devez les gérer efficacement.
• Les métriques d’opération pour toutes les écritures, mises à jour et suppressions sur une table Delta sont désormais affichées dans l’historique de la table.
• Les figures Matplotlib inline sont désormais activées par défaut dans les notebooks Azure Databricks (préversion publique).

Pour plus d’informations, consultez les notes de publication complètes Databricks Runtime 6.4 (fin de support).

Nouveaux graphiques interactifs qui offrent des interactions riches côté client

Du 25 février au 3 mars 2019 : version 3.14

Cette version introduit deux nouveaux types de graphiques interactifs qui remplacent les implémentations de graphique à barres et de graphique en courbes. En plus des fonctionnalités de graphique existantes, le graphique en courbes comporte quelques nouvelles options de traçage personnalisé : la définition d’une plage de l’axe des Y, l’indication ou le masquage des marqueurs et l’application de l’échelle du journal à l’axe des Y. Les deux types de graphiques présentent une barre d’outils intégrée qui prend en charge un ensemble complet d’interactions côté client.

Si vous souhaitez utiliser les implémentations de graphiques existantes, vous pouvez les sélectionner dans le menu déroulant Graphiques hérités. Les graphiques existants continueront à utiliser les implémentations précédemment disponibles.

Le nouveau réseau d’ingestion de données ajoute des intégrations de partenaires avec Delta Lake (préversion publique)

24 février 2020

Vous pouvez désormais facilement alimenter votre « Lakehouse » ( votre Data Lake, qui vous permet d’accéder aux structures de données et aux fonctionnalités de gestion des données que vous recevez généralement avec un entrepôt de données) avec des centaines de sources de données dans Delta Lake. La nouvelle galerie Partner Integrations, accessible à partir de votre espace de travail, vous donne accès à un vaste réseau de sources de données via nos partenaires Fivetran, Qlik, InfoWorks, StreamSets et Syncsort.

Pour obtenir une vue d’ensemble, consultez notre blog. Pour plus d’informations, consultez l’article Partenaires technologiques.

Ajout automatique d’un créateur d’espace de travail en tant qu’administrateur Azure Databricks

24 février 2020

Avant le 24 février, 2020, l’utilisateur qui a créé un espace de travail Azure Databricks est ajouté qu’en tant qu’utilisateur administrateur pour l’espace de travail, s’il a également cliqué sur le bouton Lancer l’espace de travail dans le Portail Azure ou a été ajouté en tant qu’administrateur par un utilisateur qui était déjà un utilisateur administrateur dans l’espace de travail.Un contributeur Azure pour l’abonnement qui a cliqué sur le bouton Lancer l’espace de travail est créé comme utilisateur administrateur dans l’espace de travail. L’utilisateur qui crée l’espace de travail est ajouté automatiquement en tant qu’administrateur d’espace de travail.

Pour plus d’informations sur la création et le lancement des espaces de travail, consultez Gérer votre abonnement

Indicateurs pour gérer les fonctionnalités de notebook et de sécurité des espaces de travail désormais disponibles

Du 4 au 11 février 2020 : Version 3.12

Cette version introduit de nouveaux indicateurs pour la gestion des en-têtes de sécurité qui sont envoyés pour empêcher les attaques sur votre espace de travail, ainsi que l’accès aux téléchargements de résultats des notebooks et le contrôle de version Git. Toutes ces options d’administration sont activées par défaut.