Raid 5 bei Rebuild defekt WD Platten :( - Sektorkopie möglich?

[chipmaster]

Hallo liebe Synogemeinde,

nun ist der Supergau für mich eingetreten (für die meisten von euch wäre das sicher auch so).

Ich betreibe eine DS1010+ mit 5 WD Red 3TB Platten (WD30ERFX NASWare) im Raid 5. Vier der Platten habe ich Anfang 2013
gekauft. Erst eine, 3 weitere 2 Wochen später und die 5. Platte dann 2 Monate später etwa.
Die Platten durchlaufen alle 2 Wochen einen SMART Test.

Nun nach ca 29500 Betriebsstunden (etwa 3,5 Jahre Dauerlauf) wurde eine Platte (Platte 3) mit IO Fehler und BadSectoren
gemeldet. Natürlich habe ich sofort eine neue bestellt - diesmal eine 6TB WD Red Pro. Das Raid wurde wieder aufgebaut und
einige Tage später war alles ok (übrigens die Platte wird etwa 6 Grad wärmer und läuft je nach Last dann um die 36-42 Grad).

Kaum das dies lief, meldete sich die nächste Platte (Platte 1) und zwei Tage später Platte 4. Platte 4 zeigte aber 2 IO Fehler und lief
dann wieder. Inzwischen hatte ich noch eine Platte bestellt (wieder 6TB), habe diese als Platte 1 eingebaut und das Rebuild lief los.

Tja und laut Murfis Gesetz Nr.3 - "Es kann immer mehr schief gehen als zunächst angenommen" fiel während des Rebuilds
Platte 4 aus.

- Raid 5
- zuerst Platte 3 ausgefallen - ersetzt - Rebuild ok
- dann Platte 1 ausgefallen - ersetzt - während Rebuild ist Platte 4 ausgefallen
- ausgefallene Platten = 2
- Rebuild wurde nicht fertig gestellt
- Datenzugriff geht aber trotzdem noch nur irrsinnig langsam (max 3-5 MB/s)

Was tun? Inzwischen zeigt die DS folgendes an:









Ehrlich gesagt hab ich Angst die DS in dem Zustand neu zu starten, da ich nicht erkennen kann ob
die Initialisierung der Platte 1 noch läuft oder nach einem Neustart evtl. garnix mehr geht.

Ist folgendes möglich?

- DS abschalten
- Platte 4 ausbauen (3 TB WD Red) und auf eine neue Platte (WD Gold 6 TB) Sektor für
Sektor kopieren und diese einsetzen?
- evtl. noch die alte (noch daliegende) Platte 1 ebenfalls Sektor für Sektor auf die neue
unvollständig rebuildete (dolles denglisch ) Platte 1 kopieren
- danach einschalten
- hoffen das mein Synobaby das rafft und das Raid erkennt und die fehlerhaft kopierten Sektoren
wären dann evtl. defekte Dateien ?

Ich hab echt Angst mit nem Fehlgriff mir alles zu zerballern - 10 TB waren belegt mit Fotos und Videos
aus fast 10 Jahren meines Familienlebens.

Und natürlich - kein Backup Ich sehs ein - das muss selbst hier noch bei nem Raid 5 sein.

Anmerkung: Entweder ist ein Zeichen sehr gleich bleibender Qualität oder ich hab echt Pech, dass
zeitgleich gekaufte Platten nach fast gleicher Betriebszeit innerhalb von 2 Wochen ausfallen!
Ich gehe stark davon aus, dass auch die 5. Platte (derzeit 23000 Betriebsstunden) bei erreichen
der 29500 Betriebsstunden dann ausfällt - diese werde ich aber vorher wechseln.

LG und hoffe auf gute Tipps

 

[jugi]

Hm, das ganze ist natürlich echt sch*** gelaufen.
Das gute Vorweg: Ab jetzt machst du Backups

So richtig sicher kann da jetzt leider auch keiner sagen, was das Beste ist. Da in jedem Szenario mit einer gewissen Wahrscheinlichkeit mehr Kaputt gehen kann.
Ich würde als erstes versuchen die Daten direkt von der DS auf eine externe HDD zu sichern. Wenn das soweit geklappt hat kannst du danach versuchen die Daten der defekten HDD 1:1 auf eine andere zu kopieren - du hättest ggf. noch ein (wenn auch evtl. kaputtes) Backup der Daten.
Wenn das allerdings schief geht und das Volume komplett schrottet ist richtig Käse - andere würden daher vermutlich anders vorgehen und werden mir widersprechen

Viel Glück!

P.S. dass HDDs aus einer gleichen Charge auch (nahezu) zeitgleich kaputt gehen scheint häufiger mal zu passieren.
Außerdem gibt es bei über lange Zeit 24/365 gelaufenden Platten das Phänomen, dass die sich dann beim ausschalten "festfressen" - daher sollte man "echte Server" (die mehrere Jahre durchgehend liefen) auch nicht einfach runterfahren… In einem NAS habe ich sowas allerdings noch nie gehört.

 

[chipmaster]

Danke @jugi

Also ich halt euch hier mal auf dem Laufenden, evtl. hilft es dem einen oder anderen.

Das System war also noch in Betrieb, 1 Platte hing im Status "initialisieren" und eine war ausgefallen - bei Raid 5 = große Kaka.
Ich habe versucht die Daten von der DS zu kopieren via Netzwerk und auch mit einer direkt angeschlossenen USB-Platte.
Die Kopiergeschwindigkeit lage dabei immer zwischen 2-5 MB/s ! Nun kann man sich leicht ausrechnen, dass bei belegten 9,4 TB es
schlicht ewig dauert. Also habe ich nur die allerkritischsten Sachen kopiert, was alleine schon über 2 Tage gedauert hat.
Danach habe ich knallhart den Netzstecker gezogen.

Nun wurde ein kompletter Satz neue Festplatten gekauft - wieder WD aber diesmal GOLD 6TB. Übrigens schreibe ich WD dazu noch an
und informiere hier auch. Es ist wirklich so, dass mir 3 der 4 zeitgleich gekauften Festplatten innerhalb von Wochen mit IO und Sektorfehlern
abgeschmiert sind. Nach ziemlich genau 3,5 Jahren effektiver Betriebszeit.

Um nun ganz sicher zu gehen möglichst wenig Schaden zu machen, wird aktuell jede Platte Sektor für Sektor auf die neuen Platten kopiert.
Das ist gerade bei der zuletzt ausgefallenen Platte 4 schwierig, ebenso bei Platte 1 (welche ich da grad ersetzen wollte und während des
Rebuilds dann Platte 4 ausfiel, was bei Platte 1 zu "wird initialisiert" geführt hat, obwohl diese bereits im Rebuild Modus war).

Aktuell nutze ich zum kopieren der Platten Linux Ubuntu und im Terminal folgende Befehlsabfolge:
(Die alte sowie die neue Platte sind per USB Docking an einem Laptop angeschlossen)

sudo fdisk -l (damit werden die verfügbaren Platten und Partitionen aufgelistet)
sudo ddrescue /dev/sda /dev/sdb --force (kopiert Sektorweise Platte sda auf Platte sdb)

Ist ddrescue nicht verfügbar, dann mit

sudo get -apt install gddrescue

installieren. Das Paket enthält den Befehl ddrescue.

Die Platte wird nun Sektor für Sektor kopiert. Fehlerhafte Sektoren werden übersprungen und die Zielplatte
an der Stelle mit 0 beschrieben, so dass der Sektorinhalt immer identlisch bleibt wo es geht.

Zusätzlich habe ich mir bei Amazon eine Salcar USB 3 offline Klone-Station gekauft - für ca 35 Euro.
Die Station geht per USB aber auch ohne PC und kopiert dann Sektorweise die Platte zum Ziel.
Allerdings fehlerhafte Platte funktionieren hier nicht. Dafür kopiert sie sehr schnell.
Leider ist ddrescue nicht besonder schnell und für eine 3 TB Platte benötigt es fast 3 Tage.

Sollte die Platte fehlerhaft sein, dann folgenden Befehl testen:

sudo ddrescue -B -R /dev/sda /dev/sdb --force

Damit wird die Festplatte rückwärts kopiert. Aktuell habe ich eine, wo es normal bereits nach 40 Sekunden stecken blieb und dann die
Festplatte nicht mehr erkannt wurde. Rückwärts läuft es das kopieren bereits seit mehreren Stunden.

So ich lass mal weiter laufen und geb Bescheid, wenn ich weitere Infos habe.

Grüße in die Gemeinde

 

[chipmaster]

sooo, nach Taaagen wieder ein Update.

Also Festplatte 1 ließ sich vorwärts nicht kopieren. Daraufhin habe ich diese Rückwärts kopiert.
Ca 500 MB blieben dann unbearbeitet übrig (der Rückwärtskopiervorgang brach ab und zeigte
noch ein Restvolumen von 500 MB an).

Danach habe ich die Platte in die Kopierstation gesteckt und nochmals versucht die originale
zu kopieren. Nach 20 Stunden etwa hatte er diese fertig kopiert - also zumindest laut Statusanzeige.

Es folgte mit Festplatte 4 das selbe Spiel. Leider brach der Rückwärtskopiervorgang bereits nach
300 MB ab, also etwa bei 2,7 TB. Ich habe dann trotzdem die Platte in die Kopierstation gesteckt
und sie tagelang laufen lassen. Zwischenzeitlich war ich auch 3 Tage unterwegs und als ich heute
heim kam, was Status endlich fertig! Ich denk mal das hat dann also 3-6 Tage gedauert.

Nun habe ich alle Platten eingebaut und die Syno gestartet. Das Betriebssystem fuhr erst hoch,
nachdem ich die Syno mit ausgebauter Platte 1 startete - also sozusagen Zustand wie vor dem
Tausch der Platten.
Im Augenblick ist er beim initialisieren der Platte 4, welche ja auch defekt war und zeigt mir leider
noch kein aktives Volume an. Ich befürchte bis jetzt, dass es so nicht klappt, aber mal abwarten.

Noch etwas am Rande - ich habe schon während des kopierens bemerkt, dass die WD60Gold
deutlich wärmer werden als die WD Red 3 TB. Derzeit liegt die Plattentemparatur bei 44 Grad Celsius
mit voll aufgedrehten Lüftern.

*voller Hoffnung* bis bald

ach ja - sollte das nicht klappen, werde ich mit ddrescue sektorbereichsweise kopieren und
versuchen, soviel wie möglich auf die neuen Platten zu schaufeln. Immerhin konnte ich 3 der 5
Platten problemlos kopieren.

 

[dil88]

Weiterhin viel Erfolg!

 

[chipmaster]

ERFOLG!!!!!

So nach genau 4 Wochen sehe ich meine Daten wieder. Nun muss man dazu sagen, dass ich nicht permanent am Problem arbeiten konnte,
da ich viel unterwegs bin. Also was habe ich getan:

Wie schon beschrieben, hatte ich mir eine USB Dock mit Kopierfunktion gekauft. Zeitgleich habe ich die Festplatten 1 und 4 mit ddrescue unter
Ubuntu versucht zu kopieren. Hier ist vieeeel Geduld gefragt - das kopieren der defekten Festplatten dauert mehrere Tage.

Nachdem alles kopiert war, habe ich die Platten eingesetzt. Hier der erste kleine Erfolg - das OS wurde geladen. Allerdings wurden das Datenraid
nicht erkannt und 0 Byte Kapazität angezeigt. Ich ging nun davon aus, dass die Platten 2,3 und 5 ok sind (die waren ja in Betrieb), Platte 1 sowieso
im Gedächtnis der Syno als ausgebaut markiert war und die Platte 4 das eigentliche Problem ist, da diese während des Rebuilds ausgefallen war.
Also habe ich die neue Platte 4 und die defekte Platte 4 mit einem HexEditor betrachtet und gesehen, dass sehr große Bereiche nicht kopiert wurden.
Das lag vermutlich daran, dass ich die Platte mit ddrescue nicht vorwärts kopieren konnte (da steig sie bereits nach kurzer Zeit aus mit IO Fehler und
sprang nicht mehr an), sondern ich hatte sie rückwärts kopiert, was aber auch nicht 100% funktionierte - es fehlte als auf jeden Fall etwas.

Bei Amazon schrieb ein User, dass mit der Kopierstation keine defekten Platten kopierbar sind. Ich habe es trotzdem probiert. Der Kopiervorgang
dauerte nur 30 Stunden, wobei die ersten 20% fast die halbe Zeit davon in Anspruch nahmen (die Kopierstation zeigt per LED in 20% Schritten den
Fortschritt an). Platte eingebaut und siehe da - meine Daten wurden angezeigt!
Es wurde aber angezeigt, dass Raid ist defekt und es gibt vermutlich Sektorfehler (die defekten Sektoren der originalen Platten wurden nicht kopiert).
Die DS empfahl die Reparaturoption und Neustart. Das habe ich gemacht. Nach dem Neustart konnte ich allerdings das Webinterface nicht aufrufen.
Hier half der Synology Assistant. Der zeigte die DS an und auch, dass nun das Dateisystem geprüft wird - Dauer 24356 Minuten) - das ging dann aber
doch wesentlich schneller

Danach war das Webinterface wieder da und ich kam an meine Daten. Danach die Platte 1 wieder ins Raid eingebunden und nun läuft das Rebuild,
was sicher noch 2-3 Tage dauern wird. Das fertige Raid 5 werde ich danach auf Raid 6 umstellen (sofern das klappt) und habe hoffentlich dann 5 Jahre Ruhe

Jippppiiiiii

So ich bin noch etwas skeptisch, ob ich wirklich ohne Datenverlust davon komme. Würde mich nach der Prozedur sehr wundern. Aber möglicherweise
sehe ich dann nur zufällig, wenn ich mal über solche Daten stolpere.

 

[Kurt-oe1kyw]

Danke für deine Rückmeldung und den Bericht.

Ich denke jetzt wäre ein guter Zeitpunkt ein "echtes" Backup deiner Daten zu erstellen ;-)
Hoffe der tatsächliche Datenverlust hält sich in Grenzen.

 

[dil88]

Schön, dass sich Deine Ausdauer ausgezahlt hat, und auch von mir Dank für die Informationen!

 

[chipmaster]

Danke für die Glückwünsche

Hier noch der Link zu der Kopierstation. Die Station kopierte in meinem Fall auch offline die defekten Platten,
was bei der Sektorkopie via USB Adapter unter Linux mit ddrescue, nicht klappte. Bei IO Fehler schaltete sich
die defekte Platte ab und der USB Adapter musste neu gestartet werden. Aus meiner Sicht ist das Ding in so
einem Fall Gold wert

https://www.amazon.de/Salcar-Einsch...1474552388&sr=8-1&keywords=salcar+usb+3+clone

Das Rebuild ist abgeschlossen und auch eine Paritätsprüfung war erfolgreich. Bilder und Videos scheinen
alle da zu sein. Lediglich sie Medienindexe sind alle weg - also müssen alle Medien nochmal neu indiziert werden,
dass zeigt sich besonders in den Apps Photo, Video, Musik - da ist alles leer, obwohl die Daten vorhanden sind.

Alle auf dem Synodesktop abgelegten Verknüpfungen sind ebenfalls weg, das Hintergrundbild blieb erhalten.

Alles nicht tragisch. Aktuell kämpfe ich dann noch mit der Erweiterung des Raids. Im Speichermanager lässt
sich lediglich eine Datenträgerbereinigung ausführen (hab ich bereits getan). Alle anderen Funktionen
sind ausgegraut.
Die Festplatten werden mit korrekter Größe anzeigt (jeweils 5,46 TB). Ob das nun ein Problem in Folge
der direkten Kopien der 3 TB Platten ist? Das ist aber ein anderes Thema

 

[Busta2]

Ist denn eine zusätzliche leere HDD verbaut? Falls nicht, wird dir die Option zum Wechsel auf RAID6 nicht angezeigt. (Falls du eine Hot Spare Platte hast und diese nutzen willst, musst du die zuerst als Hot Spare deaktivieren, denn sie verbleibt dann ja in Zukunft nicht als Hot Spare.)

Und möglichst VOR dem Wechsel auf RAID6 ein Backup erstellen, da so ein Wechsel immer eine ziemliche Herausforderung für das System ist und etwas schief laufen kann.

Oder meinst du mit Erweiterung nicht den Wechsel auf RAID6, sondern die Kapazitätserhöhung im Zuge der neuen Platten? Dann liegt es vielleicht wirklich an den direkten Kopien. Lösung wäre dann wohl alles extern zu sichern, Volume löschen, neu erstellen und dann Daten wieder drauf kopieren. Aber dann möglichst doppelt sichern, denn wenn deine externe Kopie ausfällt, ist sonst wieder alles weg.