Créer et gérer des stratégies de calcul
Cet article explique comment créer et gérer des stratégies dans vos espaces de travail. Pour plus d’informations sur l’écriture de définitions de stratégie, consultez Référence relative à la stratégie de calcul.
Remarque
Les stratégies nécessitent le plan Premium.
Présentation des stratégies de calcul
Une stratégie est un outil utilisé par les administrateurs d’espace de travail afin de limiter les autorisations de création de calcul d’un utilisateur ou d’un groupe en fonction d’un ensemble de règles de stratégie.
Les stratégies présentent les avantages suivants :
- Limiter les utilisateurs à la création de clusters avec des paramètres prescrits.
- Limiter les utilisateurs à la création d’un certain nombre de clusters.
- Simplifier l’interface utilisateur et permettre à davantage d’utilisateurs de créer leurs propres clusters (en corrigeant et en masquant certaines valeurs).
- Contrôler les coûts en limitant le coût maximal par cluster (en définissant des limites sur les attributs dont les valeurs contribuent au prix horaire).
- Appliquez les installations de bibliothèques à l’échelle du cluster.
Créer une stratégie
Voici les instructions de base permettant de créer une stratégie. Pour savoir comment définir une stratégie, consultez Référence relative à la stratégie de calcul.
- Cliquez sur Calcul dans la barre latérale.
- Cliquez sur l’onglet Stratégies.
- Cliquez sur Create policy (Créer une stratégie).
- Nommez la stratégie. Les noms de stratégie ne respectent pas la casse.
- Si vous le souhaitez, sélectionnez une famille de stratégies dans la liste déroulante Famille. Cela détermine le modèle à partir duquel vous générez la stratégie.
- Entrez une description de la stratégie. Cela permet aux autres personnes de connaître l’objectif de la stratégie.
- Sous l’onglet Définitions, entrez une définition de stratégie.
- Dans l’onglet Bibliothèques, ajoutez toutes les bibliothèques étendues au calcul que vous souhaitez que la stratégie installe sur le calcul. Voir Ajouter des bibliothèques à une stratégie.
- Sous l’onglet Autorisations, attribuez des autorisations pour la stratégie et définissez éventuellement le nombre maximal de ressources qu’un utilisateur peut créer à l’aide de cette stratégie.
- Cliquez sur Créer.
Utiliser une famille de stratégies
Lorsque vous créez une stratégie, vous pouvez choisir d’utiliser une famille de stratégies. Les familles de stratégies sont des modèles de stratégie fournis par Azure Databricks avec des règles préremplies, conçues pour traiter les cas d’usage courants du calcul.
Lorsque vous utilisez une famille de stratégies, les règles de votre stratégie sont héritées de la famille de stratégies. Après avoir sélectionné une famille de stratégies, vous pouvez créer la stratégie telle qu’elle est, ou choisir d’ajouter des règles ou de remplacer les règles spécifiées. Pour plus d’informations sur les familles de stratégies, consultez Stratégies par défaut et familles de stratégies.
Ajouter des bibliothèques à une stratégie
Vous pouvez ajouter des bibliothèques à une stratégie afin que les bibliothèques soient automatiquement installées sur les ressources de calcul. Vous pouvez ajouter un maximum de 500 bibliothèques à une stratégie.
Remarque
Vous avez peut-être déjà ajouté des bibliothèques de calcul à l'aide de scripts d'initialisation. Databricks recommande d'utiliser des stratégies de calcul au lieu de scripts d'initialisation pour installer les bibliothèques.
Pour ajouter une bibliothèque à votre stratégie :
Au bas de la page Créer une stratégie, cliquez sur l'onglet Bibliothèques.
Cliquez sur Ajouter une bibliothèque.
Sélectionnez l'une des options Source de la bibliothèque, puis suivez les instructions décrites ci-dessous :
Source de la bibliothèque Instructions Espace de travail Sélectionnez un fichier de l’espace de travail ou chargez un fichier Whl, wheelhouse compressé, JAR, ZIP, tar ou requirements.txt. Consultez Installer les bibliothèques à partir de fichiers d’espace de travail Volumes Dans un volume, sélectionnez un fichier Whl, JAR ou requirements.txt. Consultez Installer des bibliothèques à partir d’un volume. Chemin de fichier/ADLS Sélectionnez le type de bibliothèque et fournissez l’URI complet de l’objet de bibliothèque (par exemple abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl
). Consultez Installer des bibliothèques à partir du stockage d’objets.PyPI Entrez un nom de package PyPI. Consultez Package PyPI. Maven Spécifiez une coordonnée Maven. Consultez Package Maven ou Spark. CRAN Entrez le nom d’un package. Consultez Package CRAN. DBFS (Non recommandé) Chargez un fichier JAR ou Whl à la racine DBFS. Cela n’est pas recommandé, car des fichiers stockés dans DBFS peuvent être modifiés par n’importe quel utilisateur de l’espace de travail. Cliquez sur Ajouter.
Effet de l'ajout de bibliothèques aux stratégies
Si vous ajoutez des bibliothèques à une stratégie :
- Les utilisateurs ne peuvent pas installer ou désinstaller des bibliothèques de calcul sur les ordinateurs qui utilisent cette stratégie.
- Les bibliothèques configurées via l'interface utilisateur, l'API REST ou la CLI sur le calcul existant sont supprimées au prochain redémarrage du calcul.
- Les bibliothèques de dépendances pour les tâches qui utilisent cette stratégie dans les ressources de calcul des tâches sont désactivées.
Autorisations de stratégie
Par défaut, les administrateurs d’un espace de travail ont accès à toutes les stratégies. Les utilisateurs non administrateurs doivent disposer d’autorisations sur une stratégie pour qu’ils aient accès à cette dernière.
Si un utilisateur dispose d’autorisations de création de cluster illimitées, il aura également accès à la stratégie Illimitée. Cela leur permet de créer des ressources de calcul entièrement configurables.
Si un utilisateur n’a accès à aucune stratégie, la liste déroulante de stratégies ne s’affiche pas dans leur interface utilisateur.
Restreindre le nombre de ressources de calcul par utilisateur
Les autorisations de stratégie vous permettent de définir un nombre maximal de ressources de calcul par utilisateur. Cela détermine le nombre de ressources qu’un utilisateur peut créer avec cette stratégie. Si l’utilisateur dépasse la limite, l’opération échoue.
Afin de limiter le nombre de ressources qu’un utilisateur peut créer avec une stratégie, entrez la valeur dans le paramètre Nombre maximal de ressource de calcul par utilisateur sous l’onglet Autorisations dans l’interface utilisateur des stratégies.
Remarque
Azure Databricks n’arrête aucune ressource de manière proactive pour respecter la limite. Si un utilisateur a trois ressources de calcul en cours d’exécution avec la stratégie et que l’administrateur de l’espace de travail réduit la limite à une ressource, les trois ressources continuent de s’exécuter. Les ressources en trop doivent être arrêtés manuellement pour que la limite soit respectée.
Gérer une stratégie
Après avoir créé une stratégie, vous pouvez la modifier, ma cloner et la supprimer.
Vous pouvez également surveiller l’adoption de la stratégie en consultant les ressources de calcul qui utilisent la stratégie. Dans la page Stratégies, cliquez sur la stratégie à afficher. Cliquez ensuite sur les onglets Calcul ou Travaux pour afficher la liste des ressources qui utilisent la stratégie.
Modifier une stratégie
Vous pouvez modifier une stratégie pour mettre à jour ses autorisations ou ses définitions. Pour modifier une stratégie, sélectionnez la stratégie dans la page Stratégies, puis cliquez sur Modifier. Après avoir cliqué sur Modifier, vous pouvez cliquer sur l’onglet Autorisations afin de mettre à jour les autorisations de la stratégie. Vous pouvez également mettre à jour la définition de la stratégie.
Après avoir mis à jour les définitions d’une stratégie, les ressources de calcul créées à l’aide de cette stratégie ne sont pas automatiquement mises à jour avec les nouvelles définitions de stratégie. Vous pouvez choisir de mettre à jour toutes ou certaines de ces ressources de calcul à l’aide de l’application de la conformité des stratégies. Consultez Appliquer la conformité à la stratégie.
Cloner une stratégie
Vous pouvez également utiliser la fonctionnalité de clonage pour créer une nouvelle stratégie à partir d’une stratégie existante. Ouvrez la stratégie à cloner, puis cliquez sur le bouton Cloner. Puis modifiez les valeurs des champs désirés et cliquez sur Créer.
Supprimer une stratégie
Sélectionnez la stratégie dans la page Stratégies, puis cliquez sur Supprimer. Lorsqu’il vous est demandé si vous voulez supprimer la stratégie, cliquez à nouveau sur Supprimer.
Tout calcul régi par une stratégie supprimée peut toujours s’exécuter, mais il ne peut pas être modifié, sauf si l’utilisateur dispose d’autorisations de création de cluster illimitées.
Appliquer la conformité à la stratégie
Après avoir modifié une stratégie, les ressources de calcul créées à l’aide de cette stratégie ne sont pas automatiquement mises à jour pour respecter les nouvelles règles de stratégie. Pour afficher la liste des ressources de calcul régies par la stratégie, cliquez sur la stratégie dans l’interface utilisateur, puis sur l’onglet Calcul pour afficher le calcul à usage général associé ou l’onglet Travaux pour afficher la liste des travaux qui s’exécutent sur le calcul régi par la stratégie.
Ces listes vous indiquent également si les ressources de calcul ne sont pas conformes aux définitions de stratégie actuelles.
Pour mettre à jour les ressources de calcul pour se conformer à une stratégie :
- Dans la page Stratégies, cliquez sur la stratégie que vous avez mise à jour.
- Cliquez sur les onglets Calcul ou Travaux pour afficher la liste des ressources ou des travaux qui utilisent la stratégie. La colonne Conformité indique quelles ressources sont conformes aux définitions de stratégie actuelles.
- Cliquez sur Tous corriger pour mettre à jour toutes les ressources de calcul de la liste qui ne sont pas conformes. Vous pouvez également mettre à jour individuellement les ressources de calcul en cliquant sur le bouton Corriger dans la ligne de la ressource.
- (Facultatif) Si vous souhaitez appliquer la stratégie sur le calcul en cours d’exécution, cochez la case Appliquer les clusters en cours d’exécution. Cela redémarre immédiatement la ressource de calcul en cours d’exécution.
- Cliquez sur Appliquer pour effectuer les mises à jour. Une fois l’opération d’application terminée, vous recevez un résumé des modifications apportées.
- Cliquez sur Done.
En outre, les ressources de calcul à usage général non conformes incluent une étiquette Non conforme dans leur interface utilisateur de détails de calcul. Les utilisateurs disposant d’autorisations CAN MANAGE sur la ressource de calcul peuvent appliquer la conformité à partir de cette page en cliquant sur Plus, puis Corriger la conformité.