Optimiser le stockage avec la déduplication et la compression ReFS dans Azure Local
S’applique à : Azure Local, version 23H2
Cet article décrit la fonctionnalité de déduplication et de compression du système de fichiers résilient (ReFS) et explique comment utiliser cette fonctionnalité dans Azure Local pour optimiser le stockage.
Qu’est-ce que la déduplication et la compression ReFS ?
La déduplication et la compression reFS sont une fonctionnalité d’optimisation du stockage conçue spécifiquement pour les charges de travail actives, telles que l’infrastructure de bureau virtuel Azure (VDI) sur Azure Local. Cette fonctionnalité permet d’optimiser l’utilisation du stockage et de réduire les coûts de stockage.
Cette fonctionnalité utilise le clonage de bloc ReFS pour réduire le déplacement des données et activer uniquement les opérations de métadonnées. La fonctionnalité fonctionne au niveau du bloc de données et utilise une taille de bloc fixe en fonction de la taille du système. Le moteur de compression génère une carte thermique pour identifier si un bloc doit être éligible à la compression, en optimisant l’utilisation du processeur.
Vous pouvez exécuter la déduplication et la compression ReFS en tant que travail unique ou l’automatiser avec des travaux planifiés. Cette fonctionnalité fonctionne avec tous les systèmes flash et hybride et prend en charge différents paramètres de résilience, tels que la mise en miroir bidirectionnel, le miroir bidirectionnel, le miroir triple et la parité accélérée en miroir.
Avantages
Voici les avantages de l’utilisation de la déduplication et de la compression ReFS :
- Économies de stockage pour les charges de travail actives. Conçu pour les charges de travail actives, telles que VDI, garantissant des performances efficaces dans des environnements exigeants.
- Plusieurs modes. Fonctionne en trois modes : la déduplication uniquement, la compression uniquement et la déduplication et la compression (mode par défaut), ce qui permet l’optimisation en fonction de vos besoins.
- Déduplication incrémentielle. Déduplique uniquement les données nouvelles ou modifiées par opposition à l’analyse du volume entier chaque fois, en optimisant la durée du travail et en réduisant l’impact sur les performances du système.
Prérequis
Avant de commencer, vérifiez que les conditions préalables suivantes sont remplies :
- Vous avez accès à une instance locale Azure déployée et inscrite.
- Vous avez créé le volume partagé de cluster (CSV) sur l’instance et vous y avez accès.
- La fonctionnalité de déduplication des données Windows n’est pas déjà activée au format CSV.
Utiliser la déduplication et la compression ReFS
Vous pouvez utiliser la déduplication et la compression ReFS via Windows Admin Center ou PowerShell. PowerShell permet à la fois des travaux manuels et automatisés, tandis que Windows Admin Center prend uniquement en charge les travaux planifiés. Quelle que soit la méthode, vous pouvez personnaliser les paramètres du travail et utiliser le suivi des modifications de fichier pour accélérer les exécutions suivantes.
Activer et exécuter la déduplication et la compression ReFS
Dans Windows Admin Center, vous pouvez créer une planification pour la déduplication ReFS à exécuter sur un volume existant ou un nouveau volume lors de la création du volume. Toutefois, l’activation de la compression est prise en charge uniquement via PowerShell.
Procédez comme suit pour activer la déduplication ReFS via Windows Admin Center et définir une planification quand elle doit s’exécuter :
Connectez-vous à un système, puis, dans le volet Outils de gauche, sélectionnez Volumes.
Dans la page Volumes , sélectionnez l’onglet Inventaire , sélectionnez le volume approprié, puis sélectionnez Paramètres. Pour activer la déduplication ReFS pour un nouveau volume, sélectionnez + Créer.
Dans le volet Paramètres du volume à droite, sous Liste déroulante Autres options , cochez la case Utiliser la déduplication ReFS.
Sélectionnez les jours de la semaine où la déduplication ReFS doit s’exécuter, l’heure pendant laquelle un travail commence à s’exécuter et la durée maximale (la valeur par défaut est illimitée), puis sélectionnez Enregistrer.
La capture d’écran suivante montre que la déduplication ReFS s’exécutera le vendredi et le samedi à 10h00 avec une durée maximale de 2 heures, à compter du vendredi 27/27/2024. Si la date de début a été modifiée le lundi 9/30/2024, la première exécution sera 10/4/2024 10:00, car c’est le premier vendredi après le 30/9/2024.
Vérifiez les modifications apportées à la section Propriétés du volume. La planification apparaît sous la section Propriétés et affiche la répartition des économies et l’heure d’exécution planifiée suivante. Ces économies sont mises à jour après chaque exécution et vous pouvez observer l’impact sur les performances dans les graphiques sous la section Performances . Si la compression est activée via PowerShell, ses économies s’affichent également dans la section Propriétés .
Suspendre les travaux planifiés
La suspension de la planification annule les travaux en cours d’exécution et arrête les exécutions planifiées à l’avenir. Cette option conserve les métadonnées de déduplication et de compression ReFS et continue de suivre les modifications apportées aux fichiers pour les exécutions futures optimisées. Vous pouvez reprendre la planification à tout moment, avec les paramètres de planification conservés.
Procédez comme suit pour suspendre les travaux planifiés à l’aide de Windows Admin Center :
Connectez-vous à un système, puis, dans le volet Outils de gauche, sélectionnez Volumes.
Dans la page Volumes , sélectionnez l’onglet Inventaire , sélectionnez le volume approprié, puis sélectionnez Paramètres.
Dans le volet Paramètres du volume situé à droite, sous Liste déroulante Autres options, décochez la case Définir la planification, puis sélectionnez Enregistrer.
Désactiver la déduplication et la compression ReFS sur un volume
La désactivation de la déduplication et de la compression ReFS sur un volume arrête les exécutions en cours et annule les travaux planifiés futurs. En outre, les métadonnées de volume associées ne sont pas conservées et le suivi des modifications de fichier est arrêté.
Remarque
Lorsque vous désactivez cette fonctionnalité, elle n’annule pas la déduplication ou la compression, car toutes les opérations se produisent au niveau de la couche de métadonnées. Au fil du temps, les données dédupliquées retournent à son état d’origine, car le volume entraîne des lectures et des écritures. Pour décompresser les données, assurez-vous qu’il y a suffisamment de capacité disponible et utilisez ReFSUtil pour effectuer l’opération suivante.
refsutil compression /c /f NONE <vol>
Procédez comme suit pour désactiver la fonctionnalité à l’aide de Windows Admin Center :
Connectez-vous à un système, puis, dans le volet Outils de gauche, sélectionnez Volumes.
Dans la page Volumes , sélectionnez l’onglet Inventaire , sélectionnez le volume approprié, puis sélectionnez Paramètres.
Dans le volet Paramètres du volume situé à droite, sous Liste déroulante Autres options , décochez la case Utiliser la déduplication ReFS, puis sélectionnez Enregistrer.
Forum Aux Questions (FAQ)
Cette section répond aux questions fréquemment posées sur la déduplication et la compression ReFS.
La fonctionnalité de déduplication et de compression ReFS diffère-t-elle de la déduplication des données Windows ?
Oui, cette fonctionnalité est entièrement différente de la fonctionnalité de déduplication des données Windows.
Important
Nous ne prenons pas en charge l’activation simultanée de la déduplication et de la compression ReFS et de la déduplication des données Windows.
La déduplication et la compression reFS sont conçues pour les charges de travail actives, en mettant l’accent sur la réduction de l’impact sur les performances après l’optimisation. Contrairement à la déduplication des données Windows, la déduplication et la compression ReFS n’utilisent pas de magasin de blocs pour stocker des données dédupliquées et aucun déplacement de données physique n’est impliqué. La fonctionnalité s’appuie sur le clonage de bloc ReFS pour activer les opérations de métadonnées uniquement. La déduplication des données Windows peut offrir de meilleures économies de stockage en raison de son utilisation de tailles de blocs variables, elle convient également à un plus large éventail de types de charges de travail, tels que les serveurs de fichiers à usage général (GPFS), les cibles de sauvegarde, etc.
Quelles sont les phases de la déduplication et de la compression ReFS ?
Le processus d’optimisation comprend les phases suivantes qui se produisent séquentiellement et dépendent du mode spécifié. Si une exécution d’optimisation atteint une limite de durée, la compression peut ne pas s’exécuter.
Initialisation. Dans cette phase, le volume de stockage est analysé pour identifier les blocs redondants de données.
Déduplication des données. Dans cette phase, les blocs redondants sont à instance unique et suivis à l’aide du clonage de bloc ReFS.
Compression. Dans cette phase, une carte thermique est générée pour identifier si un bloc doit être éligible à la compression. Les paramètres par défaut compressent les données rarement sollicitées ou froides pour réduire leur taille. Vous pouvez modifier les niveaux de compression pour ajuster la plage de blocs éligibles à la compression.
Que se passe-t-il lorsque la limite de durée est atteinte avant que le volume soit entièrement optimisé ?
La limite de durée est en place pour empêcher tout impact sur les performances sur les charges de travail client causées par le travail d’optimisation pendant les heures d’ouverture. Un service de déduplication surveille les parties optimisées d’un volume et des modifications de fichier entrantes. Ces données sont utilisées dans les travaux futurs pour réduire le temps d’optimisation. Par exemple, si un volume n’est traité que 30 % lors de la première exécution en raison de la limite de durée, l’exécution suivante traite les 70 % restants et toutes les nouvelles données.
Problèmes connus
La section suivante répertorie les problèmes connus qui existent actuellement avec la déduplication et la compression ReFS.
Lorsque la compression est activée, l’utilisation du paramètre sur les -FullRun
travaux après la première exécution d’optimisation peut entraîner un blocage dans le système.
État : Ouvert.
Évitez d’utiliser -FullRun
dans les travaux démarrés manuellement, sauf si la valeur Type
est Dedup
.
Procédez comme solution de contournement temporaire pour atténuer ce problème :
Désactivez la déduplication et la compression ReFS sur le volume :
Disable-ReFSDedup -Volume <path>
Décompressez le volume à l’aide
refsutil
de :refsutil compression /c /f NONE <vol>
Réactivez la déduplication et la compression ReFS avec le
Dedup
seul mode, si nécessaire :Enable-ReFSDedup -Volume <path> -Type Dedup
La planification des travaux à exécuter simultanément sur plusieurs CSV au sein d’un seul système peut potentiellement déclencher des mouvements CSV et avoir un impact négatif sur les performances.
État : Ouvert.
Comme bonne pratique recommandée, envisagez d’décaler l’heure de début des travaux afin d’éviter tout chevauchement. Toutefois, si tous les travaux doivent s’exécuter simultanément, ajustez l’allocation de l’UC par travail sur tous les CSV afin qu’elle soit inférieure à 50 % de l’utilisation globale du processeur système. N’oubliez pas que l’imposition de limitations du processeur peut entraîner des temps d’exécution de travaux plus longs.
Le travail de déduplication et de compression ReFS terminé (correctement ou annulé) et les économies de stockage ne sont pas répertoriées dans Get-ReFSDedupStatus
ou Windows Admin Center.
État : résolu.
La solution de contournement temporaire pour ce problème consiste à lancer un travail unique et la mise à jour des résultats immédiatement.
Start-ReFSDedupJob -Volume <path>
Envoi d’événements de suivi d’événements arrêtés pour les événements Windows (ETW) après avoir désactivé la déduplication et la compression ReFS sur un volume.
État : résolu.
Une fois la déduplication et la compression ReFS désactivées sur un volume, le canal ETW pour les journaux de déduplication ReFS a arrêté les événements de surveillance arrêtés répétés. Toutefois, nous ne prévoyons pas d’impact significatif sur l’utilisation en raison de ce problème.
L’événement d’échec du travail n’a pas été enregistré si le volume est déplacé vers un autre nœud pendant la compression.
État : résolu.
Si le fichier CSV est déplacé vers un autre ordinateur du système pendant que la compression est en cours, l’événement d’échec du travail n’est pas connecté au canal de déduplication ReFS. Toutefois, nous ne prévoyons pas d’impact significatif sur l’utilisation en raison de ce problème.