+-Serie BTRFS (auf DS216+) und Snapshots - ein paar Fragen

[rednag]

So, der Nebel lichtet sich langsam .
Dann werde ich die SnapShots zusätzlich wie von @Joaquim beschrieben zu dem "normalen" Backup einsetzen.

 

[BSFD]

Ich finde das gerade die Snapshots und die Übertragbarkeit der riesige Vorteil von solchen CopyOnWrite ähnlichen Systemen sind. Wenn ich bei einer 10GB Datei nur einen Block von 4096 Byte ändere, dann müssen auch nur diese 4096 Byte als Block gesichert oder auch nur dieser 4096 Byte Block zum Backup hin übertragen werden. Bei jeglichem Dateibackup muss die ganze Datei von 10GB übertragen werden.

Bei ZFS unter Solaris orientierten Systemen sind sogar die Funktionen wie "Vorherige Versionen" für Rücksicherungen möglich und es werden sogar Windows ACL Berechtigungen mit in das ZFS System übertragen. Ein Backup kann so quasi sofort aus dem Backup direkt aktiv gestellt werden und hat so alle Berechtigungen wie auf dem primären System. Samba reicht meines Wissens nach die ACL's nicht in das Dateisystem durch und setzt diese über Benutzerberechtigungen unvollständig um. Man möge mich berichtigen, wenn dies in aktuellen Versionen ggf. anders ist. Beispiele erwünscht! Ich würde mir wünschen, wenn solche Techniken bei Synology auch durch BTRFS noch kommen werden. Es sollte nur ein Beispiel sein.

 

[Joaquim]

Hallo BSFD

Ich finde das gerade die Snapshots und die Übertragbarkeit der riesige Vorteil von solchen CopyOnWrite ähnlichen Systemen sind. Wenn ich bei einer 10GB Datei nur einen Block von 4096 Byte ändere, dann müssen auch nur diese 4096 Byte als Block gesichert oder auch nur dieser 4096 Byte Block zum Backup hin übertragen werden.

Das stimmt und diese Möglichkeit bietet auch Hyper Backup in seiner primären Methode, die Sicherung geänderter Datenblöcke. Ich nutze beides, die inkrementelle Datensicherung auf Block-Ebene, wie auch die Sicherung der originalen Dateistruktur (Lokale Datenkopie). Als Zusatz dann noch die Snapshots, wobei dies in meinem Fall kein wirkliches Backup darstellt, da es sich direkt auf dem NAS befindet. Wie in einem vorherigen Post erwähnt, gibt es bei Snapshot die Möglichkeit der Replizierung. Da ich aber keine weiteres NAS im Einsatz habe, kann ich es im Moment nicht nutzen und testen.

Bei jeglichem Dateibackup muss die ganze Datei von 10GB übertragen werden.

Die originale Dateistruktur bietet den Vorteil, dass direkt auf die Daten zugegriffen werden kann und das (in der Regel) unabhängig von System und ohne Zusatzmittel. Bei der Versionierung über Hyper Backup bin ich z.B. von Synology abhängig. Ohne DSM (mit der Hyper Backup Anwendung) und ohne Hyper Backup Explorer komm ich nicht mehr an die Daten. Sichere ich mit Progammen wie Acronis (nur als Beispiel), dann kann ich ohne deren Software auch nicht mehr an meine Daten. Von daher bin ich immer ein Beführworter (auch) eine Dateisicherung mit ins Backupkonzept aufzunehmen, sofern es nicht plausible Gründe dagegen gibt. Aber das ist pauschal schwer zu beantworten und kommt immer auf die Situation an. Kann natürlich davon abhängig sein, welche Datendimensionen man zu sichern hat und ob privat, oder im Unternehmensbereich (wenn man z.B. eine Serverfarm betreibt). Wenn es aber noch um überschaubare Datenmengen geht, kann man ja gegebenfalls entscheiden, nur vom Wichtigsten zusätzlich eine Dateisicherung zu erstellen.

 

[BSFD]

Die originale Dateistruktur bietet den Vorteil, dass direkt auf die Daten zugegriffen werden kann und das (in der Regel) unabhängig von System und ohne Zusatzmittel. Bei der Versionierung über Hyper Backup bin ich z.B. von Synology abhängig. Ohne DSM (mit der Hyper Backup Anwendung) und ohne Hyper Backup Explorer komm ich nicht mehr an die Daten. Sichere ich mit Progammen wie Acronis (nur als Beispiel), dann kann ich ohne deren Software auch nicht mehr an meine Daten. Von daher bin ich immer ein Beführworter (auch) eine Dateisicherung mit ins Backupkonzept aufzunehmen, sofern es nicht plausible Gründe dagegen gibt. Aber das ist pauschal schwer zu beantworten und kommt immer auf die Situation an. Kann natürlich davon abhängig sein, welche Datendimensionen man zu sichern hat und ob privat, oder im Unternehmensbereich (wenn man z.B. eine Serverfarm betreibt). Wenn es aber noch um überschaubare Datenmengen geht, kann man ja gegebenfalls entscheiden, nur vom Wichtigsten zusätzlich eine Dateisicherung zu erstellen.

Ich verstehe deine Ausführung, aber gerade BTRFS und ZFS bieten hier die Möglichkeit eines zwar blockorientiertem, aber zu jeder Zeit dateiorientiertem Zugriff an, der zudem keiner zusätzlichen Software bedarf. Es ist doch letztlich eine Frage wie es Synology nutzt. Um gegenüber Synology fair zu sein, BTRFS ist noch sehr neu und im RAID 5/6 Bereich wohl noch immer fehlerhaft. Ich nutze z.B. ZFS Dateisysteme an Linux, OmniOS (Solaris) und macOS, setze ZFS seit etwa 2007 produktiv ein. Ich gehe davon aus, dass man BTRFS auf der Synology auch fremd lesen und schreiben könnte, wenn Synology mal BTRFS alleine die Partitionen verwaltet lässt.

Eine Sache noch, reine Backups ohne Prüfung sowie Backupbereiche ohne Absicherung bringen auch nichts. Man müsste auf der Backup Seite quasi sofort eine jeweils weitere MD5 oder SHA Datei mit Versionierung zu jeder Datei ablegen und könnte anschließend nur sagen, ob diese Datei ist defekt, aber eine Reparatur der letzten Version wäre nur durch Wiederherstellung einer älteren nicht gleichen Version möglich, sofern das Backup nicht doppelt vorhanden wäre. Warum also dies nicht gleich dem Dateisystem überlassen?

 

[arghmage]

3. Wie wird bei Bitrot eine Datei mit bei Verwendung von BTRFS denn wiederhergstellt? Benötigt man zwingend ein RAID-1 (oder höher) oder reicht ein Backup?

Antwort: Man benötigt eine Redundanz, also eine Kopie von Daten u Prüfcode. Ich kenne die aktuelle BTRFS Version nicht so genau, aber es würde eine zweite Version der Daten im Dateisystem reichen oder ein RAID 1,5,6 welches aber von BTRFS ohne ein zusätzliches RAID erstellt sein muss. Ein Backup sollte man übrigens immer haben.

Das ist noch der "Haken" bei Synology. Derzeit mußt du Integritätsprüfung manuell starten und dann eine fehlerhafte Datei aus einer Sicherung wiederherstellen. Wenn du keine Sicherung hast -> Pech, dann weißt du aber immerhin schonmal, daß das File korrupt ist.
Mit DSM 6.1 soll dann die Wiederherstellung automatisch funktionieren, dazu braucht es aber ein RAID (1, 5, 6, 10 oder SHR mit mehr als einer Platte). Bei Standardvolumes kuckt man also wieterhin in die Röhre.

Wobei ich mich frage, ob ich eine Datei auch einfach aus einem erstellten Snapshot wiederherstellen kann? (wenn das funktionieren würde, hätte Synology es aber bestimmt beworben)

PS: Wenn BTRFS auf der Synology mal richtig implementiert wird, wird auch die Zeit des Formatierens vom RAID vorbei sein. Ein Dateisystem ist dann in wenigen Sekunden bei voller Geschwindigkeit einsatzbereit.

Das wird wohl so schnell nicht passieren. Wurde doch im US-Forum schonmal gesagt, daß sie (weiterhin) auf ihr SHR setzen.

 

[Thonav]

Wobei ich mich frage, ob ich eine Datei auch einfach aus einem erstellten Snapshot wiederherstellen kann? (wenn das funktionieren würde, hätte Synology es aber bestimmt beworben)

Das geht problemlos.

 

[dil88]

Hast Du hier vielleicht etwas mißverstanden? Es geht um die automatische Wiederherstellung durch btrfs beim Auftreten eines Prüfsummenfehlers, die es ab DSM 6.1 geben soll, nicht um die manuelle Nutzung der Snapshotversionierung. Vielleicht verstehe ich arghmage aber auch falsch.

 

[arghmage]

@ dil88
Paßt schon, mir war nicht klar, daß man auch manuell aus einem Snapshot wiederherstellen kann. Aber gut zu wissen, so ist das ja noch einfacher, als erst eine Sicherung bemühen zu müsen.
Wenn das allerdings geht, frage ich mich, warum es (bei Synology) unbedingt ein RAID braucht, die relevanten Infos sind ja auch schon auf einem Standardvolume vorhanden. Na ja mal sehn, was Synology da noch so treibt. Für mich ist das wichtigste Feature nach wie vor die Snapshotfunktion und nicht bitrot correction.
(Man kann es ja leider nicht testen und so häufig kommt bitrot ja auch nicht vor. Gibts zur Häufigkeit eigentlich irgendwelche Erhebungen/Studien/Erkenntnisse? Wäre mal interessant.)

 

[BSFD]

Wobei ich mich frage, ob ich eine Datei auch einfach aus einem erstellten Snapshot wiederherstellen kann? (wenn das funktionieren würde, hätte Synology es aber bestimmt beworben)

Jetzt wird es kompliziert. Wenn der Fehler in einem alten Snapshot noch nicht vorhanden wäre "Ja", wenn die Snapshots selbst defekt wären, gäbe es keine Wiederherstellmöglichkeit. Letztlich lässt sich auch nur eine korrekte Version lesen, das ist schon mal gut. Wie schon mehrfach erwähnt, eine Fehlerkorretur und Erkennung macht nur Sinn, wenn BTRFS die Platten selbst verwaltet. Ansonsten müsste man über dem SHR oder RAID noch ein BTRFS Spiegel oder RAID aufsetzen, sowas macht aber absolut keinen Sinn. Gerade weil BTRFS oder auch ZFS alles kennen, also von der Kopfposition auf der jeweiligen Platte bis zum Pool, können Vorgänge sehr gut optimiert werden.

Ich nutze als Beispiel ein OmniOS ZFS Spiegel mit 24HD's in quasi RAID10. Aus 10000 NFS IO's werden so nur 1000 Platten IO's die dann auf die 12 Spiegel mit sagen wir 90 IO's verteilt werden. Dabei kann ZFS alle CPU Kerne nutzen und dies vom Pool bis zum Plattenkopf. Bei Linux LVM oder auch anderen Volume Managern, baut man sich jeweils Blackboxes. Die RAID Gruppe kennt die Platte, das Aggregate kennt nur die RAID Gruppen, das Volumen kennt nur das Aggregate, die LUN im Volumen nur das Volumen. Es ist keine Plattenanzahl bekannt, es ist keine Kopfposition bekannt, usw. usw. Man baut sich künstlich Flaschenhälse und Ja, auch eine SSD kann ein Flaschenhals sein.