Raid Rebuild und E-SATA Performance?

[Naith]

Hi

Wir beabsichtigen eine DS508 als Netzwerk speicher und als Tapless Backup einzusetzen.

Dies über ein Raid 1 wo am Abend jeweils einfach eine Disk nach hause genommen wird.
Am nächsten Tag wärend über Nacht das Backup lief wird die Disk wieder eingesteckt und synchronisiert.
So ein bis zwei mal die Woche gäbe es dann ein komplett Backup der DS508 auf einen externen E-SATA Disk.

Nun würd ich gern wissen wie lange braucht die DS508 für einen Rebuild eines 1TB Raid 1? (2x Samsung SpinPoint F1)
Das ganze funktioniert ja nur wenn der Rebuild prozess in einer vernünftigen Zeit so max. 4 std. durch ist.

Zudem würd mich auch noch Interessieren ob jemand Daten hat über die performance eines angehängten USB oder besser noch E-SATA Disks worauf dann eben 1-2x die Woch ein Full Backup der DS508 gezogen würde in unserem Fall ~500GB

Vielleicht hat ja jemand schon was ähnliches gemacht und hat schon erfahrung gesammelt?


Vielen Dank schonmal

Gruss

Naith

 

[Supaman]

das ist so in der art weder sinn der sache noch besonders praktikabel. dir fehlt die redunanz in der zeit wo die platte reduilded wird, die systemperformance sinkt erheblich durch den rebuild prozess und der der rebuild muss manuell angestossen werden.

dann lieber automatisches backup auf usb über nacht, usb 2.0 macht bis 35 mb, k.a. wie hoch der durchsatz an der synology ist, hängt auch imemr davon ab wie die daten beschaffen sind. viele kleine dateien dauern länger wie wenige große.

 

[Naith]

Hmm das ist schon Sinvoll und wenn man sich mal umschaut wird man feststellen das es auch schon erste Geräte gibt die als Backup lösungen verkauft werden und genau das machen. Deonet z.B.

Wenn ich das über USB mache und über nacht sind die Daten schon 2 Tage alt wenn sie nach hause genommen werden können, im extremfall verliere ich also 2 Tage. Nach meinem System verliere ich gar nichts und im extremfall wenn die Firma abbrennt der Server geklaut wird o.ä. max. 1 Tag.

In einem PC, dank heutiger Prozessoren, dauert der Rebuild ca. 1.5std.
Redundanz eines Backups ist nicht was ich hier in 1. linie anstrebe und daher nicht so wichtig.

Allerdings und da geb ich dir recht sind die meisten NAS nicht dafür konzipiert und viel zu langsam beim Rebuild prozess. Desshalb frag ich auch.

 

[Supaman]

die 1,5 std erreichst du auch nur, wenn das raid 100% für den rebuild zur verfügung hat. bei zusätzlichen schreib-lese zugriffen bricht das dramatisch ein.

für die von die gewünschte problemlösung würde ich dir einen 2ten windows server mit einem hochwertigen raid-controller mit eigener cpu empfehlen. dort richtest du dann DFS zur partition des hauptservers auf einem raid-1 ein. dadurch hast du eine 1:1 live kopie aufdem 2tserver und keinen geschwindigkeitsverlust auf dem hauptserver.

oder du benutzt eine sync-software mit "watch-dog" funktion, d.h. es wird sofort bzw alle 5 min gesynct.

 

[itari]

RAID-1-Lösungen als Backup sind nur bedingt sicher: Zum Beispiel gegen das versehentliche Löschen von Dateien. Deshalb ist auf jeden Fall eine zweite Strategie sinnvoll. Ansonsten ist es nur eine Frage der Performance während der Resync-Phase, die eventuell einschränkt. Zum externen Backup würde ich kleinere Intervall wählen, vielleicht sogar automatisch alle Stunde einstellen. Da das Backup inkrementell arbeitet, dauern solche Sicherungen ja nicht lange.

Anmerkung1: Hab mir auch die Seite von Deonetbackup angesehen. Ich weiß nicht, ob man wirklich heutzutage eine Verkaufsstrategie auf der Aussage aufbauen sollte: "The system is easy to operate without specific knowledge of making a backup." Leider führt das im Desasterfall oft zu falschen Erwartungen.

Anmerkung2: Wenn ich nicht mit speziellen Windows-ext3-Treibern auf meine ausgebaute zweite RAID1-Platte hätte zugreifen können, wäre ich bei manchem unfreiwilligem Restore (System ließ sich gar nicht mehr booten) voll auf die Nase gefallen. Eine RAID1-Platte kann man nicht so ohne weiteres in der DS als Platte mounten, um so manuell wieder an die Daten zu kommen. Ich denke, man sollte wissen, dass das Recovery manchmal technisches Know-how erfordert und ich denke, dass das auch bei anderen Herstellen nicht anders ist. Also nix von einfach und schnell

Anmerkung3: Nur mit RAID1 ist überhaupt eine solche Sicherungsstrategie sinnvoll.

 

[Naith]

Jo will ja auch keine Werbung für das Deonet system machen denke das wendet sich eher an Heimanwender. Ich hab das nur als Beispiel erwähnt.

Anmerkung 2 von itari ist auch etwas das mir sorgen bereitet. Überleg mir daher grad ob ich die NAS geschichte nicht doch fallen lasse und ein "normales" Hot-Swap system im Server einrichte. Das kann zumindest von jedem Windows PC gelesen werden.

Das DFS das Supaman erwähnt tönt auch interessant. Leider hab ich damit keine erfahrung. Wir haben zwar Windows 2003 Server (DC) mit Exchange 2003 und Datenbank Server eines anderen Herstellers. Also wäre DFS durchaus möglich und 2 Server generell nicht verkehrt.

Aber:
Kann man mit DFS geöffnete Daten auch replizieren? Eines der problem ist ja das die Datenbanken dauernd geöffnet sind und sich somit nicht mal eben während des Betriebs sichern lassen. Von Softwar die sowas ermöglichen soll halt ich nicht allzuviel. Es sei denn alles ist vom selben Hersteller also Datenbank Software als auch Backup software wie z.B MS-Exchange und das MS-Backup.

Der vollständigkeits halber: Der Datenbankserver ist von Vektorsoft die dazu auch einen sog. Hotswap Server anbieten. Das ist aber eine vollständige Lizenz die nicht gerade billig ist (Monatliche Kosten) und ein nahtloses weiterarbeiten garantiert wenn ein Server ausfällt. Das brauchen wir so nicht zwangsläufig. Ein kurzer unterbruch alle Jubeljahre wär nicht so tragisch. Aber eben nicht grad ein oder sogar zwei Tage und es dürfen natürlich keine Daten verloren gehen.

Mit dem System das ich erwähnt habe und das wir z.Zeit einsetzen allerdings im Server ist das mit relativ bescheidenen mitteln möglich. z.Zeit ist der Server nicht stark ausgelastet und der Rebuild dauert wie gesagt ca. 1.5 std. Aber es platzt aus allen näten und wir brauchen mehr kapazität. Das führte zum gedanken an ein NAS.

Nochmal zur rekapitulation:
Betriebssystem: Auf Raid1 wird spoardisch oder bei grösseren änderungen auf eine externe Platte synchronisiert die dann in einen Tresor wandert um das BS auch im schlimmsten Fall schnell wiederherstellen zu können.

Daten: Auf Raid 1 wir über Nacht gesichert tagsüber gibts einen rebuild auf eine platte die am abend vom Chef nach Hause genommen wird.
Der Daten Backup wäre zukünftig die aufgabe vom NAS wobei ich immer mehr Zweifle ob das klug ist.

Auf jedenfall danke schonmal für die Antworten und ich bin offen für weitere vorschläge und anregungen.

 

[itari]

Noch mal was zum Szenario egal mit welchem RAID1-System mit nur 2 Platten (bei mehr als 2 Platten multipliziert sich noch einiges):

(0) 1. Platte Normal-Betrieb, 2. Platte resynct gerade, 3. Platte ist im Tresor

(1) 1. Platte geht hopps - 2. Platte ist nicht vollständig rekonstruiert - nix geht mehr!!!
(2) Cheffe fährt nach Hause und holt 3. Platte aus dem Tresor
(3) 1. + 2. Platte ausgebaut 3. Platte eingebaut und gebootet
(4) Sicherung von 3. Platte auf eine 2. externe Platte (weil 3. Platte jetzt unbezahlbar, wenn kaputt geht, denn die letzte reguläre Sicherung auf 1. externen Platte ist zufällig von letzter Woche, kein Schwein weiß, was man seitdem alles gemacht hat, trotzdem die einzige Sicherung, daher nicht überschreiben) - kein normaler Betrieb
(5) Sicherung fertig und neue 1. Platte (beim Discounter ) besorgt (weil man bei RAID1 ja nicht genau weiß, ob 2. Platte nicht am Hopps-Gehen der 1. Platte Schuld war)
und eingebaut und resyncen der 3.Platte auf 1.Platte - kein nomaler Betrieb, weil 3.Platte die einzige ist, von der man normal starten kann, also wie ein "rohes Ei behandeln" (ansonsten müsste man die Firmware neu einspielen)
(6) wenn resync auf RAID1 von 3. Platte auf 1. Platte (neu) erfolgreich war, kann normaler Betrieb wieder aufgenommen werden.
(7) endlose Diskussion, ob man 1. und 2. (alte) Platte nur wegwirft oder nur formatiert und wieder in Gebrauch nimmt, z. B. als Ersatz für 3. (alte) Platte, die sich ja meist im Tresor aufhält und ja kaum beansprucht wird. Du argumentiert für den Müll, weil sie halt zu unsicher für das 'letzte' Backup sind und redest dir den Mund fusselig: "Weh wenn die dann mal einen Fehler aufweisen würden, wenn das Spiel mal wieder ab (1) erneut beginnt" und schlägst eine Degauss-Behandlung vor. Keiner versteht dich: Man macht doch Platten nicht extra kaputt...

= "The system is easy to operate without specific knowledge of making a backup." hahahaha

 

[Supaman]

eine vernünftige grundlegende stragie ist:
datenserver auf einen 2ten server spiegeln (mit welchem verfahren auch immer, sei es nun DFS mit volumeshadowcopy oder einem live-sync-programm) und nachts ein backup laufen lassen.

und dann gibts noch nette SAN geschichten, wo die server über ISCSI / FC angeschlossen sind und das dateisystem wie eine datenbank gehandhabt wird, da verbaut man dann überlicherweise raid-50 oder raid-60 und macht in bestimmten abständen snapshots.

 

[Naith]

Naja 100% Sicherheit gibs nicht das ist mir auch klar. Wobei wenn das ganze im Server abläuft wären ja 2 Platten sogut wie immer aktuell und nur während 1.5 std. wär überhaupt mal eine nicht aktuell. Imo ist da schon nur noch ein relativ kleines Risiko. 1 Woch alte Daten gibt nicht da wie gesagt der Rebuild 1.5 std braucht und die platten 2 und 3 immer gewechselt würden.

Also Platte 1+2= Raid 1. Am abend wird Platte 2 rausgenommen und 3 rein.
In 1.5 std ist 1+3 Raid 1 und 2 mit Chef unterwegs nach Hause. Nächster Tag dasselbe aber 3 wird rausgenommen und 2 kommt wieder rein.
Natürlich ist auch da weiterhin das Risiko das die 1er währen dem Rebuild kaputt geht und nur noch die 3er da ist aber das hätte man auch bei anderen Systemen. Wenn die ursprungs Daten während des Backups oder in meinem Fall Rebuild kaputt gehen ist es egal ob man auf ein Tape oder Disk sichert.

Jede strategie die schnell mal was sichert ist reine Theorie wenn sie nicht in der Lage ist geöffnete Daten zu sichern. Und das bezweifle ich grundlegend.

Man muss einfach mal Praktisch denken. Es gibt keine 5000 Euro für Backup. Ist einfach nicht da... leider. Es ist nicht alle Zeit der welt für ein Backup und es kann kein Backup während des laufenden Betriebs gemacht werden. Alle Strategien die einen der obigen Punkte brauchen scheiden schonmal von vorne herein aus.

Wie gesagt 2. Server ist ev. ne Option und SAN ev. sogar auch noch. Da fehlt mir z.Zeit einfach noch das wissen wie sich das mit offenen Dateien verhält. Wenn das geht siehts gut aus. Ist zwar schon hart an der Finanziellen grenze oder besser eigentlich schon darüber aber bisi spielraum ist ja meist wenn dafür argumente vorhanden sind.

 

[itari]

Wenn die ursprungs Daten während des Backups oder in meinem Fall Rebuild kaputt gehen ist es egal ob man auf ein Tape oder Disk sichert.

Deshalb macht man immer zwei Sicherungen !!!

Jede strategie die schnell mal was sichert ist reine Theorie wenn sie nicht in der Lage ist geöffnete Daten zu sichern. Und das bezweifle ich grundlegend.

Es gibt schon seit Ewigkeiten Sicherungsverfahren, die mit offene Dateien umgehen können. Sie sperren (lock) einfach die Datei, während sie sie lesen, so dass während des Lesens keine neuen Daten erzeugt bzw. vorhandene geändert werden können. Es gibt Datei-Level-Locks, Block-Level-Locks, Record-Level-Lock und bei Datenbanken sogar Column-Locks auf Row-Ebene. Linux unterstützt alle Formen von Datei-Locks, sonst könnten doch gar keine Datenbanken auf Linuxbasis arbeiten.

Man muss einfach mal Praktisch denken. Es gibt keine 5000 Euro für Backup.

Naja, es kommt darauf an, was für Daten verarbeitet werden. Wäre die Buchhaltung drauf oder Fakturierung, dann muss der Cheffe sogar alle mögliche Vorkehrungen treffen (egal wie teuer), damit er seine Bilanz beim Finanzamt anerkannt bekommt. Und er muss sogar persönlich dafür haften, dass die Daten in den nächsten Jahren sicher aufbewahrt werden (zwischen 10 und 30 Jahren). Und er kann sich leider auch nicht dumm stellen und sagen, er hätte davon nichts gewusst. Sein Steuerberater erklärt ihm das, wenn er danach fragt.

Ein Betrieb, dem das Geld für eine vernünftige Datensicherung fehlt, hat noch nicht verstanden, wie teuer es werden kann, wenn die Daten unwiederbringlich verloren gehen. Wenn allerdings die Daten nichts wert sind, also Spieledaten für den Zeitvertreib sind, dann brauch man auch nichts sichern. Spiele kann man nachkaufen

 

[Supaman]

du hast bei deinem plan einen großen denkfehler: wenn du im laufenden betrieb mit plattenzugriffen einen reconstruct des raids machst, ist der deutlich langsamer als wenn das system in ruhe gelassen wird.

man auch mit wenig geld ein vernünftiges backup realisieren. das fängt damit an, das man die wahrscheinlichkeitder der ereignisse bewertet, wann man auf das backup zurückgreifen muss.

- wiederherstellung einzelner dateien durch userfehler oder unbeabsichtigtes löschen: öfter
- wiederherstellung von etwas mehr daten wegen serverausfall: selten
- komplette wiederherstellung weil hardware geklaut wurde / brand: noch seltener

im letzteren fall dürfte es einer vergleichsweise kleines problem darstellen ,wenn die daten 1 tag alt sind.

wenn du mit 1 TB daten auskommst, nehm doch 2x ds-207+ als raid-0. dazu über nacht komplett sicherung auf usb. dann hast du 2 geräte mit einem kompletten backup datensatz, keine performance einbrüche und zusätzlich externe sicherungen.

 

[Naith]

Supaman trifft des Pudels Kern wieder mal ziehmlich genau.
Die wahrscheinlichkeitder der ereignisse bewerten.
Das mein ich auch mit Praktisch denken.

Den denkfehler seh ich noch nicht da der Rebuild ja immer im Ruhezustand läuft. Platten werden getauscht und wir gehn nach hause. Wir Arbeiten momentan mit genau dem system allerdings nicht weiter abgesichert und mit 2 HDD's im Server. Die Rebuild-Zeiten sind daher werte aus der Praxis.

NAS ist mittlerweile in diesem zusammenhang gestorben da es einfach zu langsam ist. Bei USB zweifle ich auch an der Performance.
SAN klär ich grad ab (Preise und möglichkeiten).

Danke auf jedenfall nochmal für die Antworten.

@Itari: In der Theorie sind alle Mäuse grau.
Will sagen. Weder bestreite ich das vorhanden sein von Verfahren die offene Daten sichern noch das mit genügend Finanziellen mitteln schöne ausgeklügelte Sicherungsverfahren möglich sind.
Es gibt sogar vom Hersteller der DB-Server lösung die wir einsetzen eins.
Das ist aber mit Monatlichen Kosten verbunden die z.Zeit einfach nicht in Frage kommen. Erst recht nicht da wir obwohl die Daten durchaus wichtig sind trozdem damit leben könnten wenn im schlimmsten Fall mal 1 Tag weg ist oder der Server mal 1 Tag steht. Lezteres ist in den letzten 10 Jahren 2x vorgekommen.

Fakt bleibt.
Für unser System ist mir kein bezahlbares System bekannt das offene Daten zuverlässig sichert (was ja eh nur sekundär wichtig wäre) und es gibt eine Finanzielle grenze die ich zur verfügung habe. Damit muss ich Arbeiten und da hilft mir auch keine Theorie drüber weg.

Sprich: Ich brauche eine Lösung die mit einem vertretbaren Finanziellen aufwand eine vertretbare Sicherheit bietet. Letztlich führt die nicht über ein DS-508 und das ist ja eigentlich alles was ich wissen wollte.
Also auch dir vielen Dank für die Antworten.

 

[a-jay]

@Naith,

habe ich das richtig gelesen, dass du die Datenbank von Vektorsoft (Conzept-16) hast? die haben wir auch im Einsatz, da ist Datensicherung eigentlich kein Problem. Bei uns wird die DB in einen Backup-Modus versetzt, dann kann ich die DB-Datei kopieren. Alternativ kann man auch einfach den DB-Service anhalten. Dann ist die DB-Datei frei. Ein Vorteil bei Conzept-16 ist ja, dass es nur eine Datei gibt, in der Daten und Anwendung enthalten sind.

Ich kopiere einfach alle Daten/Verzeichnisse auf einen anderen (identisch eingerichteten) Rechner.

 

[Naith]

Ja hast du schon richtig gesehen.
Und das mache ich ja auch so. Ich kopiere die Daten im Backupzeitfenster auf ein Raid 1. Nur ist wenn du nicht das spez. Hotstandby System von Vektorsoft meinst auch das System anfällig auf ein defekt während des Kopiervorganges. Ganz zu schweigen von Diebstal, Feuer etc.

Das Hotstandby kommt "noch" nicht in Frage weil es in unserem Fall 1000 Euro/Monat Lizenzgebühre kostet. Und letztlich macht es nicht viel anderes als das von Supaman genannte DFS.

Ich müsst jetzt sehr weit ausholen um alles zu nennen was mit eine Rolle spielt.
Nur soviel. Nebst dem ERP das auf Conzept 16 basiert haben wir noch andere Daten die auch gesichtert werden müssen. Dann das ganze system W2003 / Exchange 2003 mit obligatem AD. Alleine das neu aufsetzen dauert ewig. Mit Raid 1 läufts im Notfall von der 2. Platte (ich weiss ich weiss solange diese nicht auch im Arsch ist).
Snapshot von anderen anbietern hatte ich schonmal den Fall das es mal ging ein anders mal aber ein schwerer Fehler im AD auftrat was ein neuaufsetzen nötig machte. Daher hab ich das verworfen.

Wie gesagt bissher lief das mit dem Raid 1
Platte raus nach Hause nehmen - > Backup über Nacht -> Platte rein rebuild in 1.5 std. sehr gut. Nun wollte ich das auf ein NAS auslagern und ev. noch etwas zusätzliche Sicherheit.
Daher die ursprüngliche Frage zur Performance des DS-508 und der E-SATA schnitstelle (Performance aus der Praxis nicht die theoretischen Datendurchsatz werte).

Ich hab nun einige neue anregungen gefunden hier die ich mir durch den Kopf gehen lassen muss und auch werde. Dazu kommt das ganze mit DFS ev. in zusammenspiel mit einem SAN. Dazu fehlt mir aber noch das Wissen weil ich das schlicht noch nie benutz habe. Also muss ich mich da erstmal einlesen mit Leuten sprechen und gegebenenfalls Beratung in anspruch nehmen.

 

[Supaman]

wenn du dich mit DFS-R beschäftigen willst, findest du hier infos: http://www.serverhowto.de/Planung-Installation-und-Konfiguration-des-Distributed-File-System-DFS-unter-Windows-Server-2003.338.0.html

bezüglich deiner strategie habe ich noch einen grobes konzept:
nachts festplatten-images mit acronis true image von allen wichtigen servern/clients auf backup-server1 ablegen
tagsüber werden von der datenbank jede stunde snapshots einzeln auch backup-server1gesichert
backup-server1 synchronisiert sich ständig oder stündlich mit backup-server2
mit einem bliebigen verfahren die daten von backup-server2 auf ein externes medium duplizieren
zusätzlich: identische serverhardware als reserve einlagern

damit hast du komplett-backups der systeme, 2 backup-datensätze und zusätzlich ein extern gelagertes backup. von datei-basierten backups halte ich nicht viel, server neu aufzusetzen ist ein irrer aufwand. mit acronis kann man die images sagar treiber bereinigt auf abweichernder hardware wieder zuurückspielen und es läuft..