Pular para o conteúdo
NGBackup NGBackup Docs

Deduplicação global

A Deduplicação Global (GDD) do NGBackup é um motor nativo em Rust, de nível produção, que reduz o armazenamento de backup muito além dos ~20:1 que o mercado costuma garantir — cargas reais do NGBackup chegam além de 60:1. O índice de dedup é diretamente ligado aos seus dados e à retenção: quanto mais backups você retém dos mesmos dados, mais blocos se repetem, então os índices só sobem — não há teto fixo. A GDD reporta o valor exato do seu ambiente em tempo de execução, a partir dos bytes reais ingeridos vs. armazenados (savings_factor, em gdd-core). Deduplica tanto no cliente quanto no storage e se encaixa na sua instalação sem mudar o resto da configuração.

Deduplicação global em origem e destino

Como funciona

Seção intitulada “Como funciona”
  • Dedup global na origem: o File Daemon divide e calcula o hash dos dados e envia só os chunks que o repositório ainda não tem, e o Storage Daemon mantém um único repositório de chunks compartilhado por todos os jobs e clientes.
  • Chunking por conteúdo (FastCDC) — blocos variáveis encontram duplicatas mesmo quando os dados deslocam.
  • Índice em redb com refcounting: buscas rápidas e recuperação segura de chunks não referenciados.
  • Filtros de Bloom multicamada — uma camada quente (inserções recentes) sobre uma camada fria mapeada em memória evita leituras do índice em disco para chunks sabidamente ausentes, cortando I/O no caminho de miss.
  • Transferência de chunks protegida: os chunks trafegam dentro da sessão File Daemon para Storage Daemon, criptografada com TLS-PSK por padrão; veja Criptografia & TLS.
  • Verificação de integridade: o dedup scrub sob demanda relê os chunks e verifica o CRC de cada um, e o dedup verify confirma que todos os chunks de um job estão presentes; os mapas de extent se recuperam de gravações interrompidas após uma falha. Chunks corrompidos ou ausentes são reportados, não reparados: mantenha o chunk store em armazenamento redundante (RAID) e uma segunda cópia dos backups críticos. A recuperação de espaço é um dedup vacuum explícito.

Habilitando

Seção intitulada “Habilitando”

A dedup é habilitada por FileSet com Dedup = Client no bloco Options. O File Daemon faz a divisão em chunks e o hash; o Storage Daemon mantém o repositório de chunks. Nenhum tipo especial de Device é necessário. Veja as referências Device e Storage e a página do plugin Global Deduplication.