Otimize o armazenamento com a eliminação de duplicação e a compactação do ReFS no Azure Local
Aplica-se a: Azure Local, versão 23H2
Este artigo descreve o recurso de eliminação de duplicação e compactação do ReFS (Sistema de Arquivos Resiliente) e como usar esse recurso no Azure Local para otimizar o armazenamento.
O que é desduplicação e compactação de ReFS?
A eliminação de duplicação e compactação do ReFS é um recurso de otimização de armazenamento projetado especificamente para cargas de trabalho ativas, como a VDI (infraestrutura de área de trabalho virtual) do Azure no Azure Local. Esse recurso ajuda a otimizar o uso do armazenamento e reduzir o custo do armazenamento.
Esse recurso usa a clonagem de bloco ReFS para reduzir a movimentação de dados e habilitar operações somente de metadados. O recurso opera no nível do bloco de dados e usa tamanho de bloco fixo, dependendo do tamanho do sistema. O mecanismo de compactação gera um mapa de calor para identificar se um bloco deve ser qualificado para compactação, otimizando o uso da CPU.
Você pode executar a desduplicação e a compactação do ReFS como um trabalho único ou automatizá-lo com trabalhos agendados. Esse recurso funciona com sistemas totalmente flash e híbridos e oferece suporte a várias configurações de resiliência, como espelho bidirecional, espelho bidirecional aninhado, espelho tridirecional e paridade acelerada por espelho.
Benefícios
Aqui estão os benefícios de usar a desduplicação e compactação ReFS:
- Economia de armazenamento para cargas de trabalho ativas. Projetado para cargas de trabalho ativas, como VDI, garantindo desempenho eficiente em ambientes exigentes.
- Vários modos. Opera em três modos: somente desduplicação, somente compactação e desduplicação e compactação (modo padrão), permitindo a otimização com base em suas necessidades.
- Desduplicação incremental. Elimina a duplicação apenas de dados novos ou alterados, em vez de verificar todo o volume todas as vezes, otimizando a duração do trabalho e reduzindo o impacto no desempenho do sistema.
Pré-requisitos
Antes de começar, certifique-se de que os seguintes pré-requisitos foram concluídos:
- Você tem acesso a uma instância local do Azure implantada e registrada.
- Você tem o volume compartilhado do cluster (CSV) criado na instância e tem acesso a ele.
- O CSV ainda não tem o recurso de Eliminação de Duplicação de Dados do Windows habilitado.
Usar a desduplicação e a compactação do ReFS
Você pode usar a eliminação de duplicação e compactação do ReFS por meio do Windows Admin Center ou do PowerShell. O PowerShell permite trabalhos manuais e automatizados, enquanto o Windows Admin Center dá suporte apenas a trabalhos agendados. Independentemente do método, você pode personalizar as configurações do trabalho e utilizar o controle de alterações de arquivos para execuções subsequentes mais rápidas.
Habilitar e executar a desduplicação e a compactação do ReFS
No Windows Admin Center, você pode criar um agendamento para que a eliminação de duplicação do ReFS seja executada em um volume existente ou em um novo volume durante a criação do volume. No entanto, há suporte para habilitar a compactação apenas por meio do PowerShell.
Siga estas etapas para habilitar a eliminação de duplicação do ReFS por meio do Windows Admin Center e definir um agendamento de quando ele deve ser executado:
Conecte-se a um sistema e, no painel Ferramentas à esquerda, selecione Volumes.
Na página Volumes , selecione a guia Inventário , selecione o volume apropriado e, em seguida, selecione Configurações. Para ativar a eliminação de duplicação do ReFS para um novo volume, selecione + Criar.
No painel Configurações de volume à direita, em Mais opções, marque a caixa de seleção Usar eliminação de duplicação ReFS.
Selecione os dias da semana em que a eliminação de duplicação do ReFS deve ser executada, a hora para um trabalho começar a ser executado e a duração máxima (o padrão é ilimitado) e selecione Salvar.
A captura de tela a seguir mostra que a eliminação de duplicação do ReFS será executada na sexta-feira e no sábado às 22:00 com uma duração máxima de 2 horas, a partir de sexta-feira, 27/09/2024. Se a data de início foi alterada para segunda-feira 30/09/2024, a primeira execução será 04/10/2024 22:00, pois é a primeira sexta-feira após 30/09/2024.
Verifique as alterações na seção Propriedades do volume. O agendamento aparece na seção Propriedades e exibe o detalhamento da economia e o próximo tempo de execução agendado. Essas economias são atualizadas após cada execução e você pode observar o impacto no desempenho nos gráficos na seção Desempenho. Se a compactação estiver habilitada por meio do PowerShell, suas economias também aparecerão na seção Propriedades .
Suspender trabalhos agendados
A suspensão do agendamento cancela todos os trabalhos em execução e interrompe as execuções agendadas no futuro. Essa opção retém a desduplicação do ReFS e os metadados relacionados à compactação e continua a rastrear as alterações de arquivo para execuções futuras otimizadas. Você pode retomar a programação a qualquer momento, com as configurações de programação preservadas.
Siga estas etapas para suspender trabalhos agendados usando Windows Admin Center:
Conecte-se a um sistema e, no painel Ferramentas à esquerda, selecione Volumes.
Na página Volumes , selecione a guia Inventário , selecione o volume apropriado e, em seguida, selecione Configurações.
No painel Configurações de volume à direita, em Mais opções, desmarque a caixa de seleção Definir Agendamento e selecione Salvar.
Desabilitar a desduplicação e a compactação do ReFS em um volume
Desabilitar a eliminação de duplicação e a compactação do ReFS em um volume interrompe todas as execuções em andamento e cancela trabalhos agendados futuros. Além disso, os metadados de volume relacionados não são retidos e o controle de alterações de arquivo é interrompido.
Observação
Quando você desabilita esse recurso, ele não desfaz a desduplicação ou a compactação, pois todas as operações ocorrem na camada de metadados. Com o tempo, os dados com eliminação de duplicação retornam ao seu estado original à medida que o volume incorre em leituras e gravações. Para descompactar os dados, verifique se há capacidade suficiente disponível e use ReFSUtil para executar a operação a seguir.
refsutil compression /c /f NONE <vol>
Siga estas etapas para desabilitar o recurso usando Windows Admin Center:
Conecte-se a um sistema e, no painel Ferramentas à esquerda, selecione Volumes.
Na página Volumes , selecione a guia Inventário , selecione o volume apropriado e, em seguida, selecione Configurações.
No painel Configurações de volume à direita, em Lista suspensa Mais opções, desmarque a caixa de seleção Usar eliminação de duplicação ReFS e selecione Salvar.
Perguntas frequentes (FAQs)
Esta seção responde a perguntas frequentes sobre a desduplicação e compactação de ReFS.
O recurso de desduplicação e compactação do ReFS é diferente da Eliminação de Duplicação de Dados do Windows?
Sim, esse recurso é totalmente diferente do recurso de Eliminação de Duplicação de Dados do Windows.
Importante
Não há suporte para habilitar a eliminação de duplicação e compactação do ReFS e a Eliminação de Duplicação de Dados do Windows simultaneamente.
A desduplicação e a compactação do ReFS foram projetadas para cargas de trabalho ativas, com foco em minimizar o impacto no desempenho após a otimização. Ao contrário da Eliminação de Duplicação de Dados do Windows, a eliminação de duplicação e compactação do ReFS não usa um repositório de partes para armazenar dados desduplicados e não há movimentação de dados físicos envolvida. O recurso depende da clonagem de bloco ReFS para habilitar operações somente de metadados. A Eliminação de Duplicação de Dados do Windows pode fornecer melhor economia de armazenamento devido ao uso de tamanhos de bloco variáveis, também é adequada para uma variedade mais ampla de tipos de carga de trabalho, como servidores de arquivos de uso geral (GPFS), destinos de backup e muito mais.
Quais são as fases de desduplicação e compactação do ReFS?
O processo de otimização compreende as seguintes fases que ocorrem sequencialmente e dependem do modo especificado. Se uma execução de otimização atingir um limite de duração, a compactação poderá não ser executada.
Inicialização. Nesta fase, o volume de armazenamento é verificado para identificar blocos de dados redundantes.
Eliminação de duplicação de dados. Nesta fase, os blocos redundantes são de instância única e rastreados usando a clonagem de bloco ReFS.
Compactação. Nesta fase, um mapa de calor é gerado para identificar se um bloco deve ser elegível para compactação. As configurações padrão compactam dados acessados com pouca frequência ou frios para reduzir seu tamanho. Você pode alterar os níveis de compactação para ajustar o intervalo de blocos qualificados para compactação.
O que acontece quando o limite de duração é atingido antes que o volume seja totalmente otimizado?
O limite de duração está em vigor para evitar qualquer impacto no desempenho nas cargas de trabalho do cliente causado pelo trabalho de otimização durante o horário comercial. Um serviço de eliminação de duplicação monitora as partes otimizadas de um volume e as modificações de arquivo de entrada. Esses dados são utilizados em trabalhos futuros para reduzir o tempo de otimização. Por exemplo, se um volume for processado apenas 30% na primeira execução devido ao limite de duração, a execução subsequente abordará os 70% restantes e quaisquer novos dados.
Problemas conhecidos
A seção a seguir lista os problemas conhecidos que existem atualmente com a eliminação de duplicação e compactação do ReFS.
Quando a Compactação está habilitada, o uso do -FullRun parâmetro em trabalhos após a primeira execução de otimização pode resultar em um deadlock no sistema.
Status: Aberto.
Evite usar -FullRun em trabalhos iniciados manualmente, a menos que o Type .Dedup
Siga estas etapas como uma solução temporária para atenuar esse problema:
Desative a desduplicação e a compactação do ReFS no volume:
Disable-ReFSDedup -Volume <path>Descompacte o volume usando
refsutil:refsutil compression /c /f NONE <vol>Reative a desduplicação e a compactação do ReFS com o
Dedupúnico modo, se necessário:Enable-ReFSDedup -Volume <path> -Type Dedup
Agendar trabalhos para serem executados simultaneamente em vários CSVs em um único sistema pode potencialmente acionar movimentos CSV e afetar negativamente o desempenho.
Status: Aberto.
Como prática recomendada, considere escalonar a hora de início dos trabalhos para evitar qualquer sobreposição. No entanto, se todos os trabalhos precisarem ser executados simultaneamente, ajuste a alocação de CPU por trabalho em todos os CSVs para que ela represente menos de 50% da utilização geral da CPU do sistema. Lembre-se de que a imposição de limitações de CPU pode resultar em tempos de execução de trabalho mais longos.
O trabalho de desduplicação e compactação do ReFS foi concluído (com êxito ou foi cancelado) e a economia de armazenamento não estão listados no Get-ReFSDedupStatus Windows Admin Center.
Status: Resolvido.
A solução temporária para esse problema é iniciar um trabalho único e os resultados são atualizados imediatamente.
Start-ReFSDedupJob -Volume <path>
O envio parou de monitorar eventos ETW (Rastreamento de Eventos para Windows) depois de desabilitar a eliminação de duplicação e a compactação do ReFS em um volume.
Status: Resolvido.
Depois que a eliminação de duplicação e a compactação do ReFS são desabilitadas em um volume, o canal ETW para a eliminação de duplicação do ReFS registra eventos de monitoramento interrompidos repetidos. No entanto, não prevemos um impacto significativo no uso devido a esse problema.
Evento de falha de trabalho não registrado se o volume for movido para outro nó durante a compactação.
Status: Resolvido.
Se o CSV for movido para outro computador do sistema enquanto a compactação estiver em andamento, o evento de falha do trabalho não será registrado no canal de eliminação de duplicação do ReFS. No entanto, não prevemos um impacto significativo no uso devido a esse problema.