Daten auf Festplatten von Raid 1

[Fischgebruell]

Hallo,
kann man mit der DS212+ die Daten auf den HDDs (Raid1) vergleich bzw. überprüfen?

Z.B.
- HDD1 "verliert" Daten, ein schleichender und nicht ankündbarer HDD-Defekt
- HDD2 geht kaputt, muss ausgetausch werden
- Sich freuen, man hat ja Raid -> Daten herstellen geht aber nicht da Daten auf HDD1 defekt sind.

Oder:
- HDD1 "verliert" Daten, ein schleichender und nicht ankündbarer HDD-Defekt
- DS wird aufgerüstet mit 2 größeren HDDs
- Daten von HDD1 werden auf die neuen HDDs kopiert
- irgend wann stellt man fest dass die Daten nicht ok sind.
- Backup ist auch nicht hilfreich, da das Backup, als die Daten noch ok waren nicht mehr existiert (man habt sich nicht alle Backups mehrere Jahre auf, dann sind die Backups wesentlich größer als die Daten).
In den letzten Backups sind die Daten auch schon defekt.

Wenn es mit der DS nun möglich wäre, die Daten von HDD1 und HDD2 automatisch abzugleichen ob diese noch gleich sind, so kann man ein einen HDD-Defekt evtl. vorher erkennen und ein Backup von der noch funktionierenden HDD ziehen bzw. eine neue HDD einbauen und von der funktionierenden HDD das Raid reparieren.
Geht das mit der DS?

 

[itari]

angenommen zwischen HDD1 und HDD2 gäbe es bei einem RAID1 eine Differenz ... welche HDD wäre denn nun die 'richtige' Platte ??? Dies ist mit 2 Platten nicht entscheidbar. Erst bei einem 3-Platten-RAID1 könntest die Regel aufstellen: "2 Platten gewinnen"

Itari

 

[Fischgebruell]

angenommen zwischen HDD1 und HDD2 gäbe es bei einem RAID1 eine Differenz ... welche HDD wäre denn nun die 'richtige' Platte ???
Itari

Ich schaue mir die Datei an.
Z.B.: Ist dies ein Datei ein Bild, so dürfte bei der einen Datei ein Fehler kommen und bei der anderen Datei müsste ich dann diese Datei/Bild mit einem Bildbetrachter ohne Probleme anschauen können.
Genauso ist es mit anderen Dateien, Word, Excel und was es da noch so gibt.
Oder?

 

[itari]

Ich schaue mir die Datei an.

Das wird sich wohl nicht per Tool machen lassen und wäre auch sehr ungenau, denn es kann viele Fehler geben, die dabei nicht auffallen.

Normalerweise verlässt man sich auf die Prüfwerte, die sowohl im Protokoll (SATA) auf dem Weg von und zur Platte verwendet werden als auch auf der Platte selbst. Wenn dort Bits so umkippen, dass sie nicht mehr automatisch korrigiert werden, werden die Datenblöcke als Störung bzw. Defekt ausgewiesen und dass bekommst dann um die Ohren geschlagen. Gleichzeitig wird bei einem RAID1 dann der Teil des RAIDs, welches den Defekt hat, von der Bearbeitung ausgenommen. Es findet kein Vergleich beim Lesen zwischen den einzelnen Teilen (Platten/Partitionen) eines RAID1 auf der DS statt (wie übrigens auch unter Linux auch sonst nicht, wenn man das md-RAID einsetzt).

Itari

 

[Fischgebruell]

Die Frage ist nun, wann merkt die Platte dass ein Bit umgekippt ist. Meist dann wenn man die Datei öffen will, aber dann ist es zu spät. Es gibt Dateien auf die man nicht regelmäßig zugrift, ein Bild schaut man sich evtl. aller 5 Jahre mal an. Bzw. Archivierte Dateien archiviert man weil man diese noch behalten will aber sehr lange nicht mehr darauf zugreifen will.

Hmm....die Bits fallen um, die Datei ist verloren und es werden evtl. immer mehr weil mn es nicht durch fehlende Dateizugriffe mitbekommt. Die noch vorhandene andere HDD gibt den Geist auf.....und die Dateien sind alle futsch.

Wie prüft man ob eine HDD langsam und unerkannt Dateien(Bits) verliert - und dies ohne jede einzeln anzuschen/zu öffnen?
Kann man das mit der DS oder muss man trotz Raid 1 immer damit Bangen dass Dateien unbemerkt unwiederruflich defekt gehen?

 

[ubuntulinux]

Man kann so checken, ob beide Platte im RAID1 übereinstimmen: echo check > /sys/block/mdX/md/sync_action

Wird ein Fehler gefunden, wird auch gleich resynct. Frag mich aber nicht, von welcher Platte. Könnte mir vorstellen, dass er irgend eine nimmt und es nachher eventuell Filesystem-Errors gibt. Könnte man aber mit fsck fixen.

 

[itari]

Die Frage ist nun, wann merkt die Platte dass ein Bit umgekippt ist.

jeder Datenblock auf der Platte hat eine Prüfsumme ... dass ist die einzige Möglichkeit festzustellen, ob die Daten in einem Block noch stimmen. Diese Methode wird von dem Controller (Plattenelektronik) selbsttätig ausgeführt. Ein SMART-Test kann auch dazu verwendet werden, Defekte solcher Art festzustellen und den defekten Blöcken Ersatzblöcke zuzuordnen (man sieht das ja auch an den SMART-Werten, ob so etwas häufiger passiert).

Ein RAID1 macht die Daten nicht sicherer; ein RAID1 ist lediglich dafür da, dass wenn ein Fehler auf einer Platte entdeckt worden ist, dann nur noch die andere Platte zu verwenden (normal wird ja abwechselnd gelesen, so dass das RAID1 auch etwas mehr Lesegeschwindigkeit hat). Also RAID1 ist nur dazu da, dass man weiterarbeiten kann (Verfügbarkeit) ... es ist nicht dafür geeignet, dass Datenprobleme automatisch abgewickelt werden (dazu ist in begreztem Umfang SMART da). Die einzige wirklich gut Maßnahme ist eine Backup-Stategie ... wobei in einem gewerblichen/geschäftlichen Umfeld mindestens 3 Sicherungen neben dem Original üblich sind.

Randbemerkung: wer wirklich mehr für seine Daten tun will, der kann das tun. Es gibt einen Haufen Spezialanbieter für diese Zwecke; allerdings sollte man davon ausgehen, dass das dann richtig Geld kostet ... Faktor 100 und mehr als eine DS kostet

Itari

 

[Fischgebruell]

Die einzige wirklich gut Maßnahme ist eine Backup-Stategie ... wobei in einem gewerblichen/geschäftlichen Umfeld mindestens 3 Sicherungen neben dem Original üblich sind.

Itari

Backups mache ich. Aber:
Wenn ich jeden Monat eine Sicherung durchführe, mir die letzten drei 3 Sicherungen aufhebe, aber nur aller 6 Monate auf die Datei zugreife, dann ist das Backup auch keine Hilfe.

Angenommen:
- Backup jeden Monat.
- Datei im Januar 2000 noch i.O., im Februar schon defekt.
- Im Januar 2012 möchte ich auf die Dateii zugreifen -> geht nicht, ist ja defekt.
- Ahh, Backup gemacht....ja, aber nur die letzten drei Backups sind vorhanden. Ich hätte mir somit alle Backups, also über 140 Backups, aufheben müssen.

- selbst wenn man sich tausende Backups aufghoben hat, müsste man dann nach dem letzten Backup suchen wo die Datei noch in Orndung war. Das letzte Backup suchen, weil, man weiss nicht mehr wann man die Datei/Ordner das letzte Mal bearbeitet hat, man will ja den letzten Stand der Datei/Ordner herstellen. Das kann viel Arbeit sein.


Wie oft prüft SMART die Festplatte komplett? Welche SMART-Werte zeigen einen an wenn ein Block mal nicht gstimmt hat?

 

[ubuntulinux]

SMART prüft die Platte nicht. Zeigt lediglich Messwerte an. Dort zeigt vor allem pending sectors an, wenn eine Festplatte stirbt.

 

[itari]

Backups mache ich. Aber:
Wenn ich jeden Monat eine Sicherung durchführe, mir die letzten drei 3 Sicherungen aufhebe, aber nur aller 6 Monate auf die Datei zugreife, dann ist das Backup auch keine Hilfe.

So ganz verstehe ich es jetzt nicht ... wenn eine Sicherung gemacht wird und dabei ein Sektor nicht mehr stimmt trotz interner Reperatur (automatisch durch den Plattencontroller), dann bekommst einen Fehler gemeldet und kannst dir Gedanken dazu machen, wie du weiter vorgehst.

In deiner Argumentation hört man anklingen, dass man Plattenfehler nicht oder zu spät bemerkt und dann auf einmal eine korrupte Sicherung hat ... Plattenfehler fallen aber spätestens beim Lesen einer Datei auf, also auch beim Lesen, wenn eine Backupkopie erstellt wird. Mit anderen Worten, wenn du ein Plattenproblem hast bevor gesichert wurde, dann wird erst gar keine Sicherung angelegt. Hast späterhin ein Plattenproblem des Originals, dann ist die Sicherung immer hinsichtlich dieses Plattenfehlers ok (natürlich kann auch die Platte des Backups Probleme haben ... deswegen ja die Vorsorge durch mehrere Backups)


Itari

 

[Fischgebruell]

D.h. - bzw. habe ich das jetzt richtig verstanden? Die Datei wird gelesen beim Backup? Ist ein Defekt vorhanden, meldet es die DS.
Was ist aber wenn die DS gerade von der Intakten HDD ließt? Ob wird ja beschrieben dass nicht immer von beiden HDDs gelesen wird.

Hmmm, aber alle Dateien werden nicht gelesen. Denn mache Backups gehen rasend schnell (Incrementell/Differentiell). Die DS/HDD kann unmöglich 1TB in 10 Minuten lesen. Somit würde doch eine defekte Datei gar nicht erkannt werden.
Oder muss man immer Vollbackups machen? Dann bleibt aber weiterhin die Frage, von welcher HDD gelesen wird.

Meckert die DS rum wenn Time Backup und/oder das normale Backup von DS ein Backup erstellt und eine Datei defekt ist?

 

[itari]

D.h. - bzw. habe ich das jetzt richtig verstanden? Die Datei wird gelesen beim Backup? Ist ein Defekt vorhanden, meldet es die DS.
Was ist aber wenn die DS gerade von der Intakten HDD ließt? Ob wird ja beschrieben dass nicht immer von beiden HDDs gelesen wird.

angenommen, eine Platte ist defekt und es wird gerade von er anderen gelesen fürs Backup, dann wäre ja alles ok, weil dann ja die 'guten' Daten zur Sicherung werden

Hmmm, aber alle Dateien werden nicht gelesen. Denn mache Backups gehen rasend schnell (Incrementell/Differentiell). Die DS/HDD kann unmöglich 1TB in 10 Minuten lesen. Somit würde doch eine defekte Datei gar nicht erkannt werden.
Oder muss man immer Vollbackups machen? Dann bleibt aber weiterhin die Frage, von welcher HDD gelesen wird.

ein inkrementelles Backup gibt es leider so nicht auf der DS, auch wenn sich da hartnäckig Gerüchte darum herum ranken. ES wird ja der rsync verwendent, und der kann so richtig gut nur 'differenziell'. Ja, alle Dateien - nach der Erstsicherung - die nicht weiter verändert wurden, werden bei den nachfolgeden Sicherungen nicht weiter berücksichtigt (wenn die Sicherungsmethode so gewählt wurde ... der rsync kann da ein paar unterschiedliche Strategien, aber üblich wäre der Zeitstempelvergleich für Modifikation einer Datei) Soll aber auch heißen, dass eine zwischenzeitliche defekte Platte, keine 'defekten' Dateien ins Backup schreibt ... also es ist immer noch alles gut.

Meckert die DS rum wenn Time Backup und/oder das normale Backup von DS ein Backup erstellt und eine Datei defekt ist?

Und ja, wenn eine Datei so defektiert ist, dass der eingebaute Fehlerbehebungsmechanismus (sei es jetzt der Plattencontroller oder das RAID1) nicht mehr greift, stürzt der Backup-Lauf mit einem Fehler ab.

Itari

 

[Fischgebruell]

Was passiert wenn die HDD (SMART) eine defekte Datei erkenn, diese aber nicht mehr herstellen kann? Wie werde ich darauf aufmerksam gemacht?

Ist dieses Szenario möglich:
Und angenommen, die HDD kann die Datei nicht mehr reparieren und wird von der HDD gelöscht. Später wird dann ein Backup gemacht, das Backup läuft läuft ohne Fehlermeldung durch, es muss ja nicht über eine nicht vorhandene Datei meckern. Irgend wann werden Backups gelöscht, auch das wo noch die Datei vorhanden ist, weil man nicht alle Backups aufheben möchte. Kann dies so passieren?

 

[ubuntulinux]

Nochmal, SMART erkennt keine defekte Dateien.

 

[itari]

zum Thema S.M.A.R.T. gehts hier lang: http://de.wikipedia.org/wiki/Self-Monitoring,_Analysis_and_Reporting_Technology

Ein Plattecontroller erkennt beim Lesen keine 'defekte Datei'*, sondern nur 'defekte Blöcke' und zwar durch die Prüfzahl eines Blockes (meist CRC: http://de.wikipedia.org/wiki/Zyklische_Redundanzprüfung). In bescheindendem Maße können Fehler repariert werden. Wenn sie Reperatur eines Blockes zu häufig vorgenommen werden muss, wird ein alternativer Block verwendet. Ist der Fehler nicht behebbar, wird ein Fehlerstatus an vom Plattencontroller an den Betriebssystemtrieben der Platte zurückgemeldet. Hätte man es dann mit einem RAID1 zu tun, würde von der anderen Platte gelesen werden und die Platte mit dem Defekt als 'fehlerhaft' markiert. Meist findet man dann im Systemprotokoll (/var/log/messages) über diese Vorgang Meldungen (sowohl über den Lesefehler als auch über das Abschalten des RAID1). Keinesfalls wird dabei eine 'defekter Block/Datei' gelöscht (es sei denn, du machst das händisch).

Ein Plattencontroller hat keine Vorstellung davon, was eine Datei oder ein Dateisystem ist - es ist schlicht zu primitiv dafür; deswegen kann die S.M.A.R.T auch nie sagen, ob eine Datei kaputt ist ... sondern nur darüber Auskunft geben, wie es mit den Blöcken ausschaut. Nur damit wir uns richtig verstehen ... zum Feststellen, ob ein Block ok ist, muss er immer gelesen (oder geschrieben) werden, sonst kann diese Block-Überprüfung nicht stattfinden.

Itari

 

[Fischgebruell]

... zum Feststellen, ob ein Block ok ist, muss er immer gelesen (oder geschrieben) werden, sonst kann diese Block-Überprüfung nicht stattfinden.

Itari

D.h. um die Platte zu bewegen, dass diese den Block prüft, müsste man z.B. den ganzen Inhalt der HDD auf eine andere HDD kopieren. Da müssen ja alle Daten gelesen werden. Richtig?
Da ich keine HDDs wie Sand am Meer habe: Gibt es eine andere Möglichkeit die Daten auszulesen? Was macht der erweiterte SMART-Test der DS?

Was macht die DS mit zwei HDDs im Raid 1 wenn die HDD merkt dass ein Block defekt ist und nicht wiederhergestellt werden kann? Auf einer HDD ist nun die Datei noch vorhanden und auf der anderen HDD nicht mehr.
Schreibt die DS dann die Datei neu auf die HDD mit dem defekten Block oder löscht diese die Datei auf der intakten HDD?

Welcher Wert zeigt im SMART an wenn ein Block defekt ist bzw. die Datei nicht wiederhergestellt werden konnte?

 

[itari]

D.h. um die Platte zu bewegen, dass diese den Block prüft, müsste man z.B. den ganzen Inhalt der HDD auf eine andere HDD kopieren. Da müssen ja alle Daten gelesen werden. Richtig?
Da ich keine HDDs wie Sand am Meer habe: Gibt es eine andere Möglichkeit die Daten auszulesen? Was macht der erweiterte SMART-Test der DS?

der erweiterte SMART-Test ist eine Möglichkeit

Was macht die DS mit zwei HDDs im Raid 1 wenn die HDD merkt dass ein Block defekt ist und nicht wiederhergestellt werden kann? Auf einer HDD ist nun die Datei noch vorhanden und auf der anderen HDD nicht mehr.
Schreibt die DS dann die Datei neu auf die HDD mit dem defekten Block oder löscht diese die Datei auf der intakten HDD?

Wenn ein Block auf einer Platte im RAID1 nicht mehr ok ist, wird das RAID sozusagen still gelegt und nur noch mit der Platte/Raidpartition, die ok ist, weiter gearbeitet. Es werden keine Dateien gelöscht (der RAID1-Treiber kennt ja auch nicht, was eine Datei ist) und auch keine Blöcke. Beim ext3/4-Dateisystem gibt es ein Transaktionsprotokoll (ähnlich wie bei NTFS unter Windows), bei welchem immer zuerst eine neue (offene) Transaktion auf die Platte geschrieben wird, bevor die Daten geschrieben werden. Beim Auftreten eines Defekts wird aber der 'commit' der Transaktion (also das erfolgreiche Ende) nicht mehr geschrieben, so dass bei einer weiteren Nutzung des Dateisystems der Partition gemerkt wird, dass etwas nicht stimmt und dann auch die 'offene' Transaktion wieder zurückgesetzt wird. Diese Art von Nutzung wäre aber bei einem RAID1 eher nur der Datenrettngsfall (Ausbau und Recovery auf einem Linux-System), normalerweise wird ja das RAID1 wieder synchronisiert, z.B. wenn eine neue Platte eingebaut wird.

Welcher Wert zeigt im SMART an wenn ein Block defekt ist bzw. die Datei nicht wiederhergestellt werden konnte?

Schau dir doch einmal die Erläuterungen zu den einzelnen SMART-Werten hier an, da sieht man doch recht genau, welche Fehlerfälle wie summert werden: http://de.wikipedia.org/wiki/Self-Monitoring,_Analysis_and_Reporting_Technology

Itari

 

[Fischgebruell]

Schau dir doch einmal die Erläuterungen zu den einzelnen SMART-Werten hier an, da sieht man doch recht genau, welche Fehlerfälle wie summert werden: http://de.wikipedia.org/wiki/Self-Monitoring,_Analysis_and_Reporting_Technology

Itari

Das habe ich mir schon angesehen.
Mir ist nur nicht klar ob eine Blockfehler (von dem hier bereits geschhrieben wurde) = Plattenoberflächenfehler bedeudet.
Und Plattenoberflächenfehler steht an vielen Werten. Welcher Wert geht bei einem Blockfehler nach oben?

Also damit die HDD einen Blcokfehler detektieren kann, ist eine erweiterter SMART-Test der DS das Richtige? Was macht der erweiterter SMART-Test? Nur Dateien/Blöcke lesen? Dies auf beiden HDs oder nur auf einer? Wie oft sollte man den Test durchführen, gibt es da Erfahrungswerte?
Was macht der SMART-Schnelltest der DS?

 

[itari]

Ich hab keine Ahnung, was der SMART-Test im einzelnen macht, aber offensichtlich liest er die Oberfläche und speichert neue Kennwerte ab. Ansonsten: es werden immer nur Blöcke gelesen ...

Dateien gibt es erst, wenn die Platte mit einem Dateisystem eingerichtet wird. Ich mach mal eine Hierarchie dazu:

Plattenhardware (nur Spuren) ... hier wäre der Disk-Spindown angesiedelt, also das Parken der Köpfe und das Anschalten des Stromsparmodus
|
Formatierung der Platte (herstellerseitig): die Eintragung von Blöcken auf den Spuren (d.h. auch Eintragung der Prüfzahlen) - hier ist auch die berühmte 1k bzw. 4k-Block Problematik angesiedelt
|
Plattencontroller: kann Spuren komplett lesen und stellt die angeforderten Blöcke in einem spezielle Cache zur Verfügung || schreibt Blöcke auf die Platte || stellt fest, ob Blöcke defekt sind und kann korrigieren oder Ersatzblöcke erzeugen || hier gibt es das Problem des Ein-/Ausschaltens des Plattecache bzw. das NCQ-Problem
|
Treiber im Linux-Kernel, welche Blöcke anfordert oder an die Platte abgibt und zwar nach einem recht einfach Blockadressierungsmechanismus. Auf dieser Ebene wirkt die Partitionierung von Platten
|
md-Treiber im Linux-Kernel (RAID), welche je nach RAID-Level die Kontrolle des gleichzeitigen Schreibens und ggf. des auf eine Platte reduzierten Lesen vornimmt bzw. bei Prüfsummen-RAIDs diese errrechnet. <-- darüber haben wir die ganze Zeit geredet
|
LVM-Subsystem, welche bei SHR dafür sorgt, dass verschiedene Plattengrößen so partitioniert werden, dass sie optimal für den RAID-Betrieb verwendet werden können
|
ext3/4-Dateisystemfunktionen im Linux-Kernel: dies ist das Formatieren im Sinne des Auftragen eíner Dateisystemstruktur (inode-table, freeblocklist, directories, usw.) ... ab hier kennt Linux überhaupt erst, was eine Datei ist: ein Haufen geordneter Blöcke *gg* - allerdings auch, was ein Hardlink ist, die Zugriffsrechte, die Zeitstempel, die Eigentümerschaften usw.
|
VFS-Switch, um mount --binds herzustellen, aber auch um remote Dateisysteme einzubinden (z.B. NFS)
|
Standard-Linux-Bibliothek: Anlegen, Modifizieren, Löschen, symbolisches Verlinken, Sperren ...
|
User Space Dateisysteme: z.B. FUSE für NTFS oder das mounten von NTFS-Shares oder das mounten von verschlüsselten Dateisystemen oder schwerfällig iSCSI-Implementationen usw. (leichte Implementation oder kernelnahe I . würden bereits in der Nähe der ext3/4-Dateisystemfunktionen vorzufinden sein - je nachdem ein raw-Container oder ein Filesystem-Container verwendet werden)
|
Shell-Ebene, auf der man mittels Linux-Commands so ziemlich alles beeinflussen kann

ich hoffe, dass ich nichts Wichtiges vergessen habe ... aber du siehst vielleicht, dass eine Vielzahl unterscheidlicher Ebene an dem Spiel teilnehmen

Itari