(Neue) Backup Strategie wie? - Soll Datendegradation mit abfangen

Status
Für weitere Antworten geschlossen.

randfee

Benutzer
Mitglied seit
08. Apr 2010
Beiträge
1.070
Punkte für Reaktionen
3
Punkte
64
Hallo,

ich würde gerne ein paar Meinungen einholen zu maximal sicheren Backup-Strategie für die wirklich wichtigen Daten (Dokumente, Fotos).
Seit Jahren hab ich mehrere DS mit Festplatten. Zur Zeit läuft weiterhin alles auf einem RAID5 (DS410) und von dort mehrmals am Tag Backups auf ein RAID1 (DS214)und von dort nochmal auf USB3 Platten. Eigentlich kaufe ich mindestens alle 2 Jahre eine neue externe platte, die als Endarchiv einmal vollgepackt und dann nicht mehr angefasst wird.
Neulich ist mir aufgefallen, dass zwei RAW Dateien in vielen der Versionen defekt waren, ist wohl irgendwo mal degradiert. Dies würde ich zukünftig gerne verhindern.

Mein Wissen ist ziemlich in die Jahre gekommen. Ich hab gesucht, aber auf Anhieb weder hier im Forum noch sonstwo eine gute Strategie gegen sowas gesehen. Rein von der Logik her würde ich raten, dass das ganze mit Redundanz und "Prüfsummen"-Verfahren irgendwie in den Griff zu kriegen sein muss, aber wie gesagt, ich steck nicht mehr genug drin um eine gute Antwort zu sehen.
Ich hätte schon gern meine 5TB+ Bilder & Dokumente irgendwo live... und es werden ja nicht weniger, daher würde ich sowieso meinen NAS/Plattenpark umplanen.

Meine Idee jetzt ist:
  • DS410 einmotten/verkaufen (platten sind alt)
  • DS216(+) kaufen, mit 2xTB Platten, BTRFS und RAID 1 drauf - für Versionierung, sehe ich als sinnvoll an für CloudStation & Co - erwarte mir aber keinen Vorteil für die Datensicherheit, wenn ich die ganzen Ausführungen richtig verstanden hab.
  • Weiterhin wie gehabt Backup von NAS1 auf NAS2 und auf externe Platten - das WIE ist hier halt die Frage. Ob das HyperBackup oder sonstwas ist ist mir ziemlich gleich, es geht mir um die Funktionalität möglichst robust zu sein auch hinsichtlich Daten-Degradation.
  • Irgendein Zip/Container oder sonstwas Verfahren finden, was der Degradation Herr wird. Egal ob es eine ganze Woche zum Erstellen braucht
  • Eine Möglichkeit finden die Datenintegrität der "aktuellen" Daten immer mal wieder prüfen zu lassen bzw. erst möglichst gar nicht aufkommen zu lassen. Keine Ahnung ob BTRFS hier hilft. Es sollten möglichst keine korrupten Daten mehr neue Backups geschrieben werden?!
  • Das ganze möglichst automatisiert

Mit meinem Halbwissen hätte ich gedacht, dass bei laufenden Festplatten RAID1/5/6/SHR schon hilft dem vorzubeugen, kann mich aber auch täuschen.
Bei dem ominösen Hash/Prüfsummen/Container Verfahren stehe ich völlig im Dunkeln. Ich kann mir zwar vorstellen wie es laufen müsste um genug Redundanz zu haben um faktisch alles abzufangen, aber mir ist kein Tool/Software bekannt.
Mir ist völlig bewusst, dass die günstigen NAS kein ECC haben und damit eine Schwachstelle da ist, die man ohne ECC nicht beliebig stopfen kann. Ich will aber alles was ich tun kann auch umsetzen.

Da ich nicht denke, dass ich hier der einzige bin der gerne möglichst robuste Backups hätte bin ich sicher, ihr habt nen Tip, Kommentar oder zumindest den entscheidenden link.

Danke & Grüße
Randfee
 

randfee

Benutzer
Mitglied seit
08. Apr 2010
Beiträge
1.070
Punkte für Reaktionen
3
Punkte
64
ist der Anspruch zu hoch? Hilft da nur ein eigener Server mit richtig konfiguriertem ZFS, auch auf den Backup-Platten/pools?
Soviel Arbeit wollte ich eigentlich nicht reinstecken.
Hab mal weiter gesucht und z.B. PAR2 gefunden. Da muss ich mal weiter suchen ob es gute Reviews/Tests bzw. allein theoretische Überlegungen zur gewonnenen Mehrsicherheit gibt.


Hab auch eben erst gesehen, dass Synology die BTRFS features gar nicht voll unterstützt, keine aktive Korrektur, nichtmal externe Platten?!... hm.....
 
Zuletzt bearbeitet:

mgutt

Benutzer
Mitglied seit
14. Nov 2012
Beiträge
429
Punkte für Reaktionen
20
Punkte
18
Keine Antworten:
https://forum.synology.com/enu/viewtopic.php?t=46820
https://forum.synology.com/enu/viewtopic.php?t=93629
https://forum.synology.com/enu/viewtopic.php?t=16114

Daher gehe ich davon aus, dass Synology selbst kein Backup Tool mitbringt, was Daten verifizieren kann.

Bleibt denke ich nur rsync mit dem --checksum Parameter. Dann wird das Ziel noch mal mit MD5 Prüfsumme abgeglichen, was natürlich deutlich länger dauert:
https://en.wikipedia.org/wiki/Rsync#Determining_which_files_to_send
Rsync performs a slower but comprehensive check if invoked with --checksum. This forces a full checksum comparison on every file present on both systems. Barring rare checksum collisions, this avoids the risk of missing changed files at the cost reading of every file present on both systems.

Allerdings bringt dir das nichts, wenn die Quelle im laufenden Betrieb die Datei beschädigt hat. Leider gibt es in rsync keine Funktion, wo bei Unterschieden in Dateien eine neue (in einem ganz anderen Verzeichnis) erstellt wird.

Eventuell könnte man das lösen, in dem man zusätzlich einen Testlauf macht und die Logs auswertet:
http://serverfault.com/a/61874
Use the -n flag, combined with the -c checksum flag and the -i flag

...

>f+++++++ newfile
>f..t.... oldfile

...

The > character in the first position indicates a file was updated, the remaining characters indicate why, for example here s and t indicate that the file size and timestamp changed.

Wenn du das mit einem Archiv machst, wo sich nichts ändern darf, könnte man auf Basis dessen weitere Aktionen durchführen. Z.B. Die entsprechenden Dateien in ein seperates Verzeichnis kopieren oder eventuell sogar einen Alert generieren.

Wie bewandert bist du mit Bash-Skripten?
 
Status
Für weitere Antworten geschlossen.
 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat