Deduplikation Backup eigenhändig

[e1m1]

Hallo zusammen,

aktuell benutze ich meine Synology um automatische Backups von meinen PCs und Laptops täglich zu fahren.
Ich habe allerdings auch noch ein paar kleine externe Festplatten mit Musik, Fotos etc. von damals.

Ich würde diese gerne in einem Ordner sichern (Btrfs Filesystem), ich habe allerdings keine Lust alle Ordner durchzugehen um zu schauen ob bestimmte Daten doppelt oder dreifach auf der Festplatte liegen, deshalb meine Frage wenn ich den Inhalt der Festplatten auf meine Synology kopiere werden dann direkt Hashes erzeugt an denen bestimmt werden kann ob bestimmte Dateien mehrfach auf meiner Synology liegen und die Datei somit nur einmalig komplett abgespeichert um Speicherplatz zu sparen?

 

[vater]

Ja, aber.. ..leider ist das Aber sehr schwerwiegend. DeDup auf Filesystem Ebene gibt es aktuell nur auf folgenden Systemen in Zusammenhang mit BTRFS Volumes, die auf Synology SSDs liegen.

Series	Models
FS-series	FS6400, FS3600, FS3400
SA-series	SA3600, SA3400
21-series	RS4021xs+, RS3621xs+2, RS3621RPxs2

Quelle: https://kb.synology.com/en-uk/DSM/tutorial/Which_models_support_data_deduplication

 

[vater]

Kleiner Nachtrag:
Du könntest die Inhalte auf Deine zu sichernden Geräte verteilen und das Ganze dann mit Active Backup sichern. Da findet eine DeDup statt.

Bei mir sieht das für 4 PCs so aus:

Hätte ich beim Volume während der Erstellung "Komprimierung" als BTRFS Feature ausgewählt, würde das jetzt noch besser aussehen. Kann man leider nicht mehr im Nachhinein aktivieren.,

Ob Dein NAS mit ABfB kompatible ist, erfährst Du - solange sich Deine Box nicht in Deiner Signatur wiederfindet - hier:
https://www.synology.com/de-de/dsm/packages/ActiveBackup

 

[e1m1]

hey, danke für die rückmeldung, da ich auf die daten sowieso nur sehr sporadisch zurückgreifen werde, werde ich dies dann über aktive backup machen. die einzelnen „ordner“ im nas kann man doch separat beim erstellen als komprimiert oder unkomprimiert anlegen.

 

[vater]

Hast vollkommen Recht!

 

[vater]

Mh. Bei der Standardfreigabe von ABfB kann man das nicht einstellen.

 

[himitsu]

Ja, aber.. ..leider ist das Aber sehr schwerwiegend. DeDup auf Filesystem Ebene gibt es aktuell nur auf folgenden Systemen in Zusammenhang mit BTRFS Volumes, die auf Synology SSDs liegen.

Und auf Blockebene?

Per se ist irgendwas doch in jedem Btrfs drin
und wird z.B. für Snapshots verwendet, sowie beim Dateikopieren (innerhalb eines Volumes, wenn "schnelles Kopieren" aktiviert wurde)

Aber wie man sowas selber nachträglich machen könnte, wäre eine nett zu wissende Funktion.
Klar, man kann doppelte Dateien suchen (schneller, indem man eine Hash-Liste aller Dateien führt) und dann anstatt neu zu schreiben, eine lokale Datei kopieren, um das Gewünschte zu bekommen.

 

[e1m1]

hmm schade,
die meinen wahrscheinlich dass datenbanken an sich groß sind undnkleine änderungen dazu führen dass did datenbank nen neuen hash bekommen und somit jedes mal neu gespeichert werden auch wenn nur ein Attribut geändert wird, wie zb name einer person.

 

[e1m1]

angeblich sollte gloables deduplizieren in dsm 7.0 kommen aber laut reddit wurde das
wohl verschoben.

 

[himitsu]

Selbst Microsoft hat sowas inzwischen bei sich drin.
Block-Deduplication

Und hier gibt es das ja schon ... nur "nutzen" kann man es fast nicht.


Klar, vonwegen der Datensicherheit könnte man Gründe dagegen finden,
wenn z.B. ein Sektor futsch ist (auf mehreren Platten der Selbe), dann wäre statt nur einer Datei gleich viel mehr futsch.

 

[e1m1]

joar aber dagegen sollte ja gerade das shr1 zeugs sein mit doppelter sicherheit.

 

[vater]

Nur als Richtigstellung:
Wenn man ABfB mit Kompression oder/und Verschlüsselter Ablage nutzen möchte, ist das keine Einstellung auf dem Gemeinsamen Ordner den man für diesen Zweck anlegt. Laut Syno Anleitung sieht die Config einen normalen Ordner vor:


Aber innerhalb des ABfB, beim Erstellen der Sicherungsaufgabe wählt man das Ziel.
"ABFBcompressed": Da ich hier schon eine Aufgabe mit aktivierter Kompression angelegt habe, ist der Hinweis bei diesem Ordner "Komprimierung=Ja". Alle Sicherungen in diesen Ordner werden komprimiert. Bei dem Ordner "Docker" hätte man noch die Wahl.


Hier die Screenshots zu den beiden Ordnern:

Keine Auswahlmöglichkeit bei "ABfBcompressed"


Bei der Auswahl eines bislang ungenutzen Ordners (in meinem Test hier "Docker", wird beides abgefragt:




Unter SPEICHER kann man sich das Ergebnis der Bemühungen ansehen.

Ich möchte aber darauf hinweisen, dass ich das gerade erst neu eingerichtet habe und daher, vor allem der DeDup Wert, nicht dem von 5 PCs entspricht, ich habe zu dem Screenshot Zeitpunkt erst knapp zwei PCs gesichert. Hier möchte ich nur zeigen, wo man die Ration einsehen kann:


Edit: Quelle: https://kb.synology.com/de-de/DSM/t...different_compression_and_encryption_settings

 

[nas-central.de]

Per se ist irgendwas doch in jedem Btrfs drin

Copy-on-Write ist drin, d.h. wenn sich an einer Datei was ändert werden, sofern die Datei bereits in einem Schnappschuss ist, nur die geänderten Blöcke geschrieben. Zwei Versionen belegen nur den Speicher einer Datei plus die geänderten Blöcke. Wird die Datei allerdings gelöscht und neu geschrieben war es das im Standard schon mit der Deduplizierung.

Wenn du nur Bilder und Musik speichern möchtest ist die Komprimierung u.U. kontraproduktiv. Diese Formate sind i.d.R. bereits komprimiert. Durch erneutes komprimieren wird es nicht kleiner, es kann sogar größer werden.

 

[vater]

Korrekt. Bei Video- oder Bildersammlungen (jedenfalls bei Sammlungen komprimierter Bilder), kann man nicht viel erwarten. Aber Ich sehe ABfB eher als Möglichkeit, normale Windows PCs zu sichern. Früher hätte ich ACRONIS Images erstellt. Heute sichere ich regelmäßig mit ABfB. Im Wiederherstellungsfall ist der USB Stick schnell erstellt. Vier Windows PCs sehen z.B. so aus:

Gerade weil HDDs derzeit so teuer sind, freue ich mich über den Gewinn durch die Datenkomprimierung (und natürlich DeDup).

 

[Black_Rider]

Hallo zusammen

Nur als kleiner Input: HyperBackup kennt auch komprimierung und deduplikation.

Gruss

Black

 

[nas-central.de]

Active Backup for Business macht eine Volumen globale Block-Level Deduplikation.

HyperBackup macht nur bei inkrementellen Backups ein copy-on-write auf Block Level und Deduplikation nur auf Dateiebene und ob es das überhaupt macht hängt auch noch vom Typ des Datensicherungsziel ab.

Aktuell gibt es die echte Deduplizierung nur im Active Backup for Business und für einige große Modelle.

https://kb.synology.com/en-global/DSM/tutorial/Which_models_support_data_deduplication

Es gibt verschiedene Deduplizierungsverfahren. Active Backup for Business nutzt eine "target inline deduplication", dabei wird für jeden Block ein Hash-Wert berechnet und verglichen. Welches Verfahren für die volumenbasierte Deduplizierung bei den in der o.g. Liste genannten Geräten genutzt wird ist mir nicht bekannt, aber es gibt Voraussetzungen wie z.B. dass der Speicherpool rein aus Synology SSD besteht und der Hauptspeicher mindestens 16GB beträgt.

 

[Adama]

Wobei man nicht vergessen darf, dass ABfB Deduplikation und Kompression nur für die Image basierten Sicherungen anbietet, nicht aber für die Dateiserver-Sicherung.

 

[vater]

Hier noch mal ein Stand nach gut zwei Wochen Backups von 5 PCs eines 4 Personenhaushalts, um mal einen Vergleichswert zu haben:

 

[vater]

Und hier ein Stand nach einem guten Jahr.
Mein Fazit: Kompression und erst recht Deduplizierung lohnen sich hinsichtlich des benötigten Speicherplatzes. Besonders in einem Setup mit mehreren Geräten ähnlichen Typs.

 

[plang.pl]

Wow, das ist echt mal ne krasse Ersparnis.

EDIT: Bei sieht es auch nicht schlecht aus.