DS420+ mit 4x6 TB und SHR2 (Raid 6) + Btrfs als Paritätsschutz vor Bitfäule? (Paritätscopy App)

[DS214x20220109]

Um es gleich vor weg zu sagen: Externe Zusatz Backups werden bei mir so oder so gemacht.

Ich möchte mir gerne die DS420+ kaufen mit 4x 6 TB Festplatten.
Das ganz soll eingerichtet werden als: SHR2 oder Raid 6 mit dem Dateisystem: Btrfs
Dann hätte ich 1x 12 TB zum Daten speichern und 1x 12 TB mit doppelter Parität als Ausfallschutz.

Jetzt bin ich aber in einem anderen Forum auf folgende Sätze hell hörig geworden:

btrfs errechnet checksummen etc, allgemein ist die RAM Belastung WESENTLICH höher als bei ext4 etc.
Wenn der RAM Fehler produziert, die nicht korrigiert werden,
denkt btrfs das deine Dateien defekt sind und zerschießt dir alles.
Das wird bei 6 TB spätestens nach 2-3 Jahren passieren...

https://www.computerbase.de/forum/t...-server-synology-ds918.1867615/#post-22552045

+

btrfs und ZFS arbeiten unterschiedlich, btrfs wird dir alles zerstören (ich rede aus Erfahrung...)

https://www.computerbase.de/forum/t...r-synology-ds918.1867615/page-2#post-22552509

+

Je nach Datenmenge brauchen das auch normal Sterbliche.
Ab ca. 4 TB für die Archivierung wird ECC wichtig, da die Chance steigt, dass dir Daten korrumpieren.
Wenn dir die Daten nicht wichtig sind, brauchst du es auch nicht.

https://www.computerbase.de/forum/t...s-server-synology-ds918.1867615/post-22555082

Da die DS420+ kein ECC RAM hat, muss ich mir da trotzdem sorgen machen wenn ich Btrfs als Filesystem nehme?

Bei SHR2 oder Raid 6 und Btrfs werden doch doppelte Paritäten als Ausfallschutz geboten oder?

Wenn jetzt z.B. auf eine von den 4 Festplatten ein paar Blöcke anfangen zu faulen (Bit Rot)
würde das dann mit der oben beschriebenen Konfiguration automatisch ausgeglichen werden?

Oder sollte ich doch besser als Dateisystem: EXT4 bei der DS420+ nehmen?

Gibt es so was wie eine Paritätscopy App?

Beispiel ich kopiere eine Datei A mit 1 GB Speichergröße auf das DS420+ NAS
und während des kopierens schreibt eine APP oder ein anderes Programm
zusätzliche Paritätsdaten inkl. Prüfsummen mit in die Datei A rein.

Hinterher wenn die Datei A auf dem Zielgerät: DS420+ angekommen ist sie 2 GB Groß!

So das man in jeder kopierten Datei zusätzlich Schutz mit drin eingebaut hat

Bei WinRAR kann man Wiederherstellungsdateien von 1% bis 99% in den gepackten Container hinzufügen.
Sonst würde mir keine andere Möglichkeit einfallen.
Aber so ein Container deöns möchte ich nicht.

Lieber wäre mir, das die kopierte Ziel Datei hinter her mit Prüfsummen und zusätzlichen Paritätsdaten geschützt ist.
^
Habe ich da einen Denkfehler oder passiert das schon automatisch bei SHR2 oder Raid 6 ??

 

[nas-central.de]

Das ist ganz schöner Unsinn, was du da aus dem Nachbarforum zitierst. btrfs ist absolut stabil und bei deinen Anforderungen geht da auch kein Weg dran vorbei.

Um Bit Rot zu verhindern brauchst du btrfs Prüfsummen, das Raid alleine kann das nicht. Es muss regelmäßig ein Data Scrubbing und ein Raid Scrubbing laufen. Synology kombiniert das bereits so, dass deine Daten auf einem NAS mit btrfs und Prüfsummen bestmöglich geschützt sind.

Wenn du es übertreiben willst kann du z.B. mit Quickpar Parity Files auf Verzeichnisebene erstellen. Das ist aber bei einer ansonsten vollständigen Backup Strategie eigentlich zu viel des guten.

Wichtig ist, dass dein führendes System, von dem die Daten kommen, auch Bit Rot erkennt. Ansonsten sicherst du gekippte Bits ins Backup, die auch btrfs nicht mehr erkennen kann.

 

[Minzkeks]

SHR2 oder Raid 6 mit dem Dateisystem: Btrfs
Dann hätte ich 1x 12 TB zum Daten speichern und 1x 12 TB mit doppelter Parität als Ausfallschutz.

Welche Daten sind das denn, die so dringend vor Bit-Kippern geschützt werden müssen, dass du das Checksum-Feature von BtrFS brauchst?

Zur Stabilität des Checksum-Features im BtrFS Kernelmodul im von Synology im DSM 7 eingesetzten Linux-Kernel 4.4 von 2016 finde ich nichts, die Historie reicht nicht so weit zurück: https://btrfs.wiki.kernel.org/index.php?title=Status&offset=20160912155430&action=history

Wenn man jedoch vermutet, dass die BtrFS Kernelmodulversion vom Kernel 4.4.180 von Mai 2019 eingesetzt wird könnte man von Stabilität der BtrFS-Features auf diesem Stand ausgehen: https://btrfs.wiki.kernel.org/index.php?title=Status&oldid=32759



Ich fände eher die Snapshot-Funktion interessant, die gibt es mit ext4 so nicht. Wenn deine Platten ihre Daten öfter falsch auslesen hast du schon längst andere Probleme mit diesen Platten. Dann werden die SMART-Werte schlecht und dein RAID wird degraded.

Weiterhin würdest du einen Prozess benötigen, der dir defekte Dateien mit Checksum-Fehlern meldet, so dass du manuell eingreifen und den Originalzustand aus einem Backup wiederherstellen kannst. Hast du eine Lösung dafür?


Eine gute Backupstrategie, die automatisiert abläuft halte ich für wichtiger als theoretische Zuverlässigkeitsvorteile von BtrFS-Checksummen.

 

[synfor]

Synology nutz das RAID-Feature von BTRFS nicht.

 

[Minzkeks]

Synology nutz das RAID-Feature von BTRFS nicht.

Wie viele no space left on device Probleme wegen nicht rechtzeitig balancierten BtrFS Filesystemen mit viel Platz hattest du bereits?

Ich habe bereits mehrfach Zeit verbrennen dürfen wegen BtrFS ENOSPC-Problemen. Mit ext2/3/4 hatte ich bisher noch nie Probleme. BtrFS-Checksums mögen theoretische Vorteile bieten, dafür holt man sich jedoch andere BtrFS-Probleme herein, die den theoretischen Vorteil locker wieder zunichte machen.

Snapshots von BtrFS wären für mich ein echter Mehrwert, über BtrFS nachzudenken, wenn man die braucht. Checksums der Dateiinhalte nicht.

Und wieder: Snapshots sind keine Backups.

 

[DS214x20220109]

Wichtig ist, dass dein führendes System, von dem die Daten kommen, auch Bit Rot erkennt. Ansonsten sicherst du gekippte Bits ins Backup, die auch btrfs nicht mehr erkennen kann.

Daran scheitert es schon
Wenn man in Stichproben die neu kopierten Files auf die NAS überprüft, dann sollte es doch gehen oder?
z.B. Das neu kopierte Foto.jpg auf der NAS öffnen.

Oder auf dem führenden System die Dateien in Stichproben vorher überprüfen, die man auf die NAS kopieren möchte.

Welche Daten sind das denn, die so dringend vor Bit-Kippern geschützt werden müssen, dass du das Checksum-Feature von BtrFS brauchst?

Allgemeine Dateien wie Bilder, Musik, Videos, Word, Text und PDF Dokumente und einige Zip Dateien.

Ich habe bereits mehrfach Zeit verbrennen dürfen wegen BtrFS ENOSPC-Problemen. Mit ext2/3/4 hatte ich bisher noch nie Probleme. BtrFS-Checksums mögen theoretische Vorteile bieten, dafür holt man sich jedoch andere BtrFS-Probleme herein, die den theoretischen Vorteil locker wieder zunichte machen.

Darum sollte man ja auch ECC RAM beim BTRFS Filesystem verwenden.

Siehe den bereits oben verlinkten Beitrag im ComputerBase Forum.
oder bei HardwareLuxx wird dies in folgenden Beitrag auch noch mal bestätigt:

[FAQ] - RAID ersetzt kein Backup! und Warum eigentlich ECC RAM?

 

[nas-central.de]

Dass btrfs ohne ECC Ram eingesetzt wird ist doch der Normalfall im Consumer-Bereich. Es ist trotzdem das empfohlene System weil es absolut kein Problem ist und ganz entscheidende Vorteile bietet.

So wie das in dem genannten Beitrag beschrieben ist gibt es das doch gar nicht, das ist ein Mythos. Wir haben noch nie einen "Scrub of Death", also eine Scrubbing Fehler, der sich durch das ganze Dateisystem frißt, gesehen. Kaputte Bilder, die sich auf Grund von Bitfehlern nur bis zur Hälfte aufbauen hat hingegen sicherlich schon jeder mal gesehen.

Wenn RAM so massive und kontinuierliche Fehler verursacht, dann hat man ganz andere Probleme. Datenverlust durch das Dateisystem durch falsch ausgewertete Prüfsummen zählen aber nicht dazu, schon gar nicht auf einem Synology NAS, weil das Setup hier ganz anders ist. Synology verwendet das btrfs Raid gar nicht.

Sollte wirklich mal ein Scrubbing-Fehler durch einen RAM Fehler auftreten, dann sorgt das mdadm Raid Scrubbing dafür, dass der richtige Block über den vermeintlich flaschen Block geschrieben wird. Man hat dann nur ein paar unnötige Lese- und Schreibzyklen.

Schlußendlich wäre ein Scrub of Death, selbst wenn es ihn geben würde, mit der richtigen Backup Stratgie kein Problem. Es ist im Grunde nichts anderes wie ein Angriff mit einem Verschlüsselungstrojaner und hiergegen kann man sich gerade mit btrfs besonders gut schützen und das sollte man ja sowieso tun.

 

[DS214x20220109]

Bin auf diesen Blog Beitrag hier aufmerksam geworden:

https://jrs-s.net/2015/02/03/will-zfs-and-non-ecc-ram-kill-your-data/

Hier schreibt jemand (auf Deutsch) übersetzt folgendes:

Nachdem ich Ihren Artikel gelesen habe, denke ich, dass es sinnvoller ist, als dem Freenas-Forum blind zu folgen, wo jeder „ECC oder Tod!“ schreit. Das wird zu einem Religionskult, bei dem Sie zur Hölle verdammt werden, wenn Sie nicht an meinen Gott glauben. Da ist nur pure Angstmacherei. Um es noch schlimmer zu machen, gehen die meisten Leute zu Freenas, weil sie ein billiges System wollen und wahrscheinlich wie ich Noob in Bezug auf ZFS sind. Und der Admin dort verprügelt jeden, der nicht auf ECC läuft, und lässt jeden glauben, ECC oder Pleite. Fürs Protokoll, ich habe fast 3 Jahre lang ein ZFS-Setup mit billigem Nicht-ECC-RAM und hatte nie ein Problem.

Langsam denke ich auch, das ist alles nur Panikmache!

Aus welchen Grund macht man überhaupt Scrubbing?

Ich hab vor kurzem eine alte Festplatte die gut 7 Jahre in der Schublade lag noch problemlos auslesen können.
Bei der waren alle Daten noch in Ordnung!

Da hat mussten keine Daten bewegt oder angestubbst werden wie bei einem Gelenk
was wenn es nicht bewegt wird anfängt zu rosten.

 

[nas-central.de]

Aus welchen Grund macht man überhaupt Scrubbing?

Fehler werden nur erkannt, wenn auf die fehlerhaften Bereiche zugegriffen wird. Die meisten Daten werden aber nur sehr selten gelesen. Backups z.B. im Idealfall nie. Wenn du z.B. ein Raid 1 hast, auf Platte A liegt ein Fehler vor, auf Platte B nicht. Im normalen Betrieb merkst du den Fehler nicht, der wird automatisch beim Zugriff korrigiert. Fällt Platte B aus bevor es einen Zugriff gab, dann ist der Bereich verloren und kann nicht mehr wiederhergestellt werden. Das Scrubbing geht über die Platte drüber, sucht fehlerhafte Bereiche und korrigiert sie, ohne, dass die Dateien in Zugriff kommen müssen.

 

[himitsu]

Wie oft kommt es eigentlich vor, dass ein RAM mal teilweise defekt wird? (nicht gleich ganz abraucht)

Ich kenn noch niemandem, dem das mal passiert ist.
Andersrum kenne ich mich, der mal einen Fehler im USB3 hatte, was zu Festplatten und USB-LAN-Adaptern, trotz (zu kleiner/unzureichender) Prüfsumme, Fehler durchließ und bei größerer Auslastung alle paar MB/GB je 4 Bytes zermanschte, welche auch das NAS nicht mehr erkennen kann, wenn es nicht grade in wichtigen Controldaten passiert (was fast nie passierte, da die ja am Anfang vorkommen)

So kannst Daten nur noch mir anschließender Verification übergeben, also schreiben, dann nochmal lesen und gucken ob's richtig war.

 

[DS214x20220109]

Wie oft kommt es eigentlich vor, dass ein RAM mal teilweise defekt wird? (nicht gleich ganz abraucht)

Ich kenn noch niemandem, dem das mal passiert ist.

Genau das gleiche kann ja auch mit ECC RAM passieren

Was würde denn passieren wenn ECC RAM in einem NAS defekt wird?

Die Leute die Panik machen,
wenn der Scrub of Death bei non ECC RAM so gravierend sein soll
könnte man ja auch mal anderes herum fragen

 

[himitsu]

Dachte mal geselesen zu haben, dass das RAID-Feature direkt im Btrfs besser/sicherer sein soll, als ein normales davorgeschaltetes RAID.

Einer der Gründe ist aber, dass das Dateisystem so gezielt auf Fehler reagieren könnte, welche es normal garnicht mitbekommt, wenn das RAID die Fehler noch versteckt, so lange es diese Fehler noch reparieren kann.

 

[synfor]

Wie oft kommt es eigentlich vor, dass ein RAM mal teilweise defekt wird? (nicht gleich ganz abraucht)

Abgerauchtes RAM hatte ich noch nie, defektes schon ein paar mal. Wobei sich das Problem teilweise mit moderaten Timings lösen lies. Das RAM (NoName) arbeite mit den ursprünglich vorgesehen Timings auf Grund von Alterung nicht mehr fehlerfrei. Blöd war nur, dass das BIOS die "zu langsamen" Timings ständig anmeckerte, was man aber ignorieren konnte und den Bootvorgang anders als andere Fehler nicht unterbrach.

Was würde denn passieren wenn ECC RAM in einem NAS defekt wird?

Das würde zu Einträgen im Log und bei unkorrigierbaren Fehlern zum Anhalten (Notbremse) des Systems führen.

 

[nas-central.de]

Dachte mal geselesen zu haben, dass das RAID-Feature direkt im Btrfs besser/sicherer sein soll, als ein normales davorgeschaltetes RAID.

Das btrfs Raid gilt bis heute als nicht wirklich stabil. Das mdadm Raid gilt hingegen seit vielen Jahren als absolut stabil. Die Erfahrung zeigt auch, dass es eigentlich nie Probleme damit gibt.

Die Kombination aus mdadm Raid und btrfs mit Prüfsummen und die Kombination der Scrubbing Verfahren ist bei Synology bestmöglich gelöst.

Einer der Gründe ist aber, dass das Dateisystem so gezielt auf Fehler reagieren könnte, welche es normal garnicht mitbekommt, wenn das RAID die Fehler noch versteckt, so lange es diese Fehler noch reparieren kann.

Ein Raid versteckt keine Fehler. Wenn es Fehler findet korrigiert es die Fehler oder markiert sie als unrecoverable. Raid und btrfs können bestimmte Fehler nur gemeinsam korrigieren. Dabei ist es wichtig, dass das Data Scrubbing vor dem Raid Scrubbing läuft. Genau das machen die NAS.

 

[Hondo]

Wobei gerade heute wo jeder Löli mit ein paar klicks denkt zum super Overclocker zu werden, kann ich mir aber gut vorstellen, dass man vermutlich eher schon korrupte Daten auf Grund eines instabilen Quellsystems auf das NAS schiebt, als das die dort wirklich verwurstet werden

Nichts destotrotz habe ich bei mir aber auch lieber ECC im NAS, oder in den Kisten die wirklich durchgehend laufen
Mit dem 1337-Gaming-Rig muss man halt vorsichtiger sein und auch ohne das es schon abschmiert gelegentlich nen Stabilitätstest machen

 

[DS214x20220109]

Das btrfs Raid gilt bis heute als nicht wirklich stabil. Das mdadm Raid gilt hingegen seit vielen Jahren als absolut stabil. Die Erfahrung zeigt auch, dass es eigentlich nie Probleme damit gibt.

Die Kombination aus mdadm Raid und btrfs mit Prüfsummen und die Kombination der Scrubbing Verfahren ist bei Synology bestmöglich gelöst.

Okay, dann nehme ich am besten für meine DS420+
mit meinen bestückten 4x 6 TB Festplatten = SHR2 mit der mdadm Funktion und BTRFS ?

Das normale Raid 6 in der DSM Auswahl hat auch mdadm oder ist dieses dann das alte instabile?

 

[himitsu]

SHR = RAID 5 (1 oder Mehrere, bzw. siehe Nachfolgend)
SHR2 = RAID 6 (1 oder Mehrere)

SHR aus einer Platte (ohne Datenschutz) = Basis (vielleicht/vermutlich auch eher ein RAID 1 ohne Datenschutz, aber kommt auf's Gleiche raus)
SHR aus zwei Platten = RAID 1

 

[DS214x20220109]

Gibt es so was wie eine Paritätscopy App?

Hat jemand Erfahrung mit der PAR2 CMDLINE ?

Das könnte eine gute Lösung sein, wenn ich nur wüsste wie ich sie bedienen soll?

Man findet zwar per Suchmaschine einen englischen Foren Eintrag unter folgenden Suchbegriff:

par2 cmdline total commander

Ich versteh da nur Bahnhof und müsste irgendwie wissen wie ich den Total Commander dazu bringen kann,
jedes mal wenn eine Datei oder mehrere Dateien auf ein Zielmedium geschrieben werden,
das mit dem Kopiervorgang automatisch PAR2 Prüfsummen angelegt werden
Mich würde es nicht stören, das der Kopiervorgang da durch deutlich länger dauert...

 

[weyon]

Man kann sich auch mehr Aufwand machen als man nutzen daraus hat. Beim Einsatz von Festplatten mit 10 hoch 15 oder höherer Bitfehlerwahrscheinlichkeit + einem BTRFS Raid6 inkl. Prüfsummen + Scubbing + regelmäßigen Backups ist Bit Rod nahezu ausgeschlossen und für den normalen Benutzer und die meisten KMUs nicht relevant. Ich habe privat seit mehr 20 Jahren Server mit mind. 5 Festplatten im Raid6. Habe noch nie z.B. Dateien nicht mehr öffnen können oder Fehler in Bilder oder Videos gehabt. Und selbst wenn ein Bit kippt wird man das fast nie merken (kann ein Pixelfehler in einem Foto sein, oder in einem Videobild). Und selbst wenn noch etwas auftritt, bei momentan knapp 20TB Tendenz steigend wäre ein defekter Pixel oder gar jpg nicht relevant.

 

[nas-central.de]

mit meinen bestückten 4x 6 TB Festplatten = SHR2 mit der mdadm Funktion und BTRFS ?

Ich würde dir zu einem normalen Raid 6 raten. Das SHR2 bringt dir nur was, wenn du Festplatten mit unterschiedlicher Größe zusammenwürfeln willst. Ein Setup von dem wir nicht viel halten weil es ansonsten nur Nachteile hat. Dementsprechend trifft man es auch nur im Consumer-Bereich an oder bei Firmen, die nicht wissen was sie tun.