Sicherung (Backup) per FTP einfach hört auf - unvollständig!

[Norderstedter]

Moin!

Ich habe ein 5 Schacht NAS DS 1522+. Da sind derzeit ca. 60 TB belegten HDDS drin. Eine Sicherung mache ich dann mit einem DS 419 play. Beide Geräte sind miteinander per direktem Kabel (Ethernet) verbunden. Da ich in der Vergangenheit mit den mitglelieferten Backup-Programmen nicht klargekommen bin habe ich die Quelle per ftp auf das Ziel übertragen. Die Quelle ist dabei ein freigegebener Ordner mit 10-30 TB. MEIST funktioniert es, das Quelle und Ziel nach 1-2 Tagen gleichgroß sind. Doch es ist jetzt (letzte 3 Jahre) mehrfach vorgekommen, das das Ziel deutlich kleiner (30%, 54%) war als die Quelle. Ich habe keine Fehlermeldung bekommen. ist ftp kaputt? Oder sind 2 stellige TB-Mengen in einem Ordner (mit hunderten Unterordnern) zu große für einen Kopierauftrag?

 

[Synchrotron]

Bei so großen Jobs kann immer mal etwas schief gehen. Logs prüfen, ob da etwas steht.

FTP ist kein Backupprogramm. Ordentliche Backup-Programme machen eine Sicherung am Anfang, ab da werden nur noch Änderungen gesichert. Das geht wesentlich schneller. Außerdem wird durch Versionierung sicher gestellt, dass auch ein früherer Dateistand vor Änderungen aus dem Backup wiederhergestellt werden kann.

Das sind nur so ein paar Eckpunkte für ein ordentliches Backup. Lies mal nach unter 3-2-1 Backup Strategie.

 

[w00dcu11er]

mit den mitglelieferten Backup-Programmen nicht klargekommen bin

Dafür ist das Forum ja gedacht.
Also am besten sauber arbeiten mit den "mitgelieferten Backup-Programmen".
Diese Frickeleien bringen am Ende mehr Ärger/Frust als brauchbare Ergebnisse.

Wenn was ist, einfach fragen.

Es gibt hier ja zahlreiche Threads zum von Synology "mitgelieferten" Backup-Programm namens Hyper Backup.

 

[Rotbart]

Wenn schon kein Hyperbackup dann doch lieber rsync als ftp dafür.

 

[Norderstedter]

Wenn schon kein Hyperbackup dann doch lieber rsync als ftp dafür.

Hat bei meinen Versuchen auch nicht besser funktioniert und vor allem. L A N G S A M! Mit ftp bekomme ich rund 80-100MB/s in der Auslastungsanzeige, rsync hat nicht mal 20 MB/s geschafft. (Letzter Test vor ca. 3 oder 4 Jahren).

 

[JohneDoe]

Rsync kopiert aber nicht jedes Mal alles neu, sondern nur die Änderungen. Damit würde man viel Zeit sparen.

 

[Norderstedter]

Rsync kopiert aber nicht jedes Mal alles neu, sondern nur die Änderungen. Damit würde man viel Zeit sparen.

Zweifelhaft. Wenn rsync (gerundet) 5-10 mal so viel Zeit benötigt, aber alle 4 bis 5 Sicherungsdurchgänge wegen neuer/größerer HDDS doch alles neu geschrieben werden muß kann ich keinen Zeitvorteil erkennen.

 

[JohneDoe]

Vielleicht nutzt du auch Rsync falsch? Damit meine ich, dass du Checksummen Überprüfung an hast usw? Und von welcher DS wurde der rsync Befehl ausgeführt? Die Geschwindigkeit von Rsync hängt auch von der CPU ab. Und je nachdem wie du Rsync konfiguriert hast überprüft es sehr viel bevor es kopiert. Dadurch wird es langsamer....
Und wieso musst du die HDDs so oft wechseln. Vielleicht solltest du eher am Konzept was ändern. Kauf paar große Festplatten die als Verbund dann groß genug sind. Dann sparst du dir das ewige wechseln. Achja was noch gegen FTP spricht: wie prüfst du ob das Backup richtig ist und nichts beschädigt ist? Bei der Datenmenge geht das schlecht per durchklicken.

Edit: mit einem richtigen Backup Konzept ist die Dauer glaube ich auch nicht wirklich relevant. Klar das Initiale Backup dauert länger, aber das ist dann so. Danach wird eh nur inkrementell gesichert und das dauert nicht mehr so lange. Und mal ehrlich, wenn das nachts automatisch sichert, dann ist es mir egal ob es 2 Stunden oder 4 Stunden brauch. Wichtiger ist mir, dass das Backup konsistent ist. Von einem kaputtem Backup habe ich auch nichts. Auch wenn es vielleicht 5 Stunden schneller beim Kopieren war. Dann lieber langsamer und mit Prüfung

 

[w00dcu11er]

wegen neuer/größerer HDDS

Wie oft bitte schön?
Sonst wie @JohneDoe erwähnt ist es im Alltag nicht wirklich zu beachten, da meiste Sicherungen eh inkrementell sind.

 

[Tommes]

Ich werfe jetzt einfach mal mein auf rsync basierendes Script mit dem schönen Namen jarss (just another rsync shell script) in den Raum. An einem umfangreichen Tutorial zum Thema Download, Einrichtung und Ausführung bin ich grade dran und wird bald vollständig im hiesigen Wiki für jeden zur Verfügung stehen.

rsync als solches nimmt keine Rücksicht auf das System und prügelt die Daten mit voller Wucht durch das Netzwerk. Das du mit Hyper Backup nur mit einem Bruchteil der Geschwindigkeit Daten übertragen kannst, liegt einfach daran, damit das System nicht überlastet wird. Deutlich wird das, wenn du mit jarss einen Backup-Auftrag ausführst und du keine Geschwindigkeitsbegrenzung festgelegt hast. In diesem Fall lastet rsync das System soweit aus, das du teilweise nicht mal mehr auf die Oberfläche des DSM kommst. Bei ftp dürfte es dir ähnlich ergehen (hab das aber noch nie getestet)

Abhilfe schafft hier z.B. jarss zusammen mit dem Zusatzprogramm ionice, das Bestandteil der SynoCli Monitor Tools ist. Erkennt jarss, das das Programm ionice auf der Synology NAS installiert ist, passt es die Lese- und Schreibgeschwindigkeit permanent so an, das das System stabil bleibt, ist dabei i.d.R. aber deutlich schneller als Hyper Backup.

Okay, jarss ist nicht jedermanns Sache, da es sich hier um ein reines Shell-Script handelt. Das Script kann aber auch über die File Station in Verbindung mit dem Text Editor editiert und über den DSM-Aufgabenplaner ausgeführt werden. Wie gesagt, an einer passenden Anleitung bin ich grade dran. Falls es doch jemanden interessiert.

 

[Norderstedter]

Vielleicht nutzt du auch Rsync falsch?

Möglich. aber bewußt habe ich keine Zusatzoptionen eingeschaltet.

Und von welcher DS wurde der rsync Befehl ausgeführt?

Ich habe beide Richtungen probiert, eben wegen CPU-Auslastung. Aber die war nie höher als rund 1/3.

Und wieso musst du die HDDs so oft wechseln.

DATENMENGE. Die NAS-HDD für Fotos ist voll , also wird aus einer 12 TB eine 16 TB. Dann ist die voll, es wird eine 20 TB. inzwischen 22 TB. ("Fotos" beinhaltet auch Videos).

Die ausgebaute 12er hat dann eine 8er im BAckupset ersetzt. Als die 20er im NAS reinkam hat die ausgebaute 18er eine andere (z.B. die 14er bei Sonstiges) ersetzt. die dort vorher eingebaute 8er oder 10er ist dann in den Backup-Set gewandert.

Also immer "links" was großes neues rein, (Volume Foto), die ausgebaute kleinere rutscht im NAS immer weiter nach rechts um dem nächstkleinerem Volume/HDD zu ersetzten usw. Was dann rechts "rausfällt" wandert ins Backup.

Wer mir jetzt erzählt, ich soll nur ein großes Volume für alles nehmen möge mir bitte erklären, wie ich ohne RAID-Level (dafür gibt es nicht genug Steckplätze) die Kapazität erhöhen könnte. Ohne zusätzliche Geräte, denn mein Weg funktioniert ohne weitere Geräte.

Zum "oft": Das passiert zwischen 6 Monaten und 18 Monaten einmal. Also regelmäßig, aber durchaus im Jahresabstand.

Vielleicht solltest du eher am Konzept was ändern.

Wie? Für realistische Vorschläge bin ich durchaus zugänglich.

Kauf paar große Festplatten die als Verbund dann groß genug sind

Also mal eben 5* 439€ (heutiger Preis für 22 TB exos nur als BEispiel) = 2195€. Nö danke, da bleibe ich bei meinem System. Außerdem würde ich für 2 Backups ja noch 2 die Größe benötigen, also rund 6600€. Merkst du, das deine Idee unpraktisch ist?

Und mal ehrlich, wenn das nachts automatisch sichert, dann ist es mir egal ob es 2 Stunden oder 4 Stunden brauch.

Welche DATENMENGE ist das? eine Handvoll GB? Das verschieße ich nicht einmal in einem halbem Tag an Fotos.

 

[Norderstedter]

Wie gesagt, an einer passenden Anleitung bin ich grade dran. Falls es doch jemanden interessiert.

Kommt drauf an. Eine wie auch immer geartete Automatik darf einmal eingerichtet werden (auch mit HAndbuch lesen), muß danach aber vollautomatisch laufen, incl. den Admin informieren das ein BAckup notwendig ist, das der Backup-Set gewechselt werden muß (NAS - Banksafe).

 

[ottosykora]

incl. den Admin informieren das ein BAckup notwendig ist, das der Backup-Set gewechselt werden muß (NAS - Banksafe).

also ich denke das kann keine Backup System erledigen. Ebensowenig wird es dich an andere Daten wie Geburttage und ähnliches errinern. So was kann man nur mit einem Kalender lösen. So was gibt es zwar auch auf Syno, aber ich denke Welt ist sonst voll von Kalendern heute, da wird sich was brauchbares finden.
Backup Software kann lediglich die Informationen zu den eigenen Aufgaben geben.


Ich würde sagen, du hast so viele Vorbedingungen und extrem ungewöhnliche Ansprüche, denke du wirst keine Lösung finden.

Ein Ansatz wäre vielleicht einen IT Dienstleister in deiner Gegend suchen, dieser soll dann alles so aufbauen dass danach wenigstens ein kleiner Teil der Anforderungen erfüllt wird.
Minimum wäre sicher: Backup muss am Ziel 100% ankommen, es muss mittels heutigen Mitteln verifiziert werden dass alles auch wiederherstellbar ist.

 

[Tommes]

Du kannst jarss z.B. über den DSM-Aufgabenplaner zeitgesteuert und damit automatisch ausführen lassen. Die passende Anleitung, wie man ein jarss Script ausführt, findest du hier (habe ich gestern noch fertiggestellt). Für dein Setup wäre aber eine SSH-Verbindung auf Grundlage einer Public-Key-Authentifizierung erforderlich um deine beiden Synology NAS Systeme zu verbinden. Dafür habe ich aber auch eine Anleitung geschrieben *klick*

Was du daraus machst, bleibt natürlich dir überlassen. In meinen Augen ist rsync (muss ja nicht unbedingt mein Script sein) immer noch besser als ftp. Hyper Backup kann zwar auch rsync und macht das sicherlich besser als jarss, zumal die Daten permanent verifiziert werden, braucht dafür aber auch wesentlich länger. Sicherheit und Kontrolle kostet neben der Aufrechterhaltung der Systemstabilität halt auch Zeit.

incl. den Admin informieren das ein BAckup notwendig ist, das der Backup-Set gewechselt werden muß…

…, der Kaffee fertig ist und das das Auto in die Inspektion muss. Warte… ich denk kurz drüber nach, ob es Sinn machen würde sowas in jarss einzubauen… äh… nö! Wir könnten aber einen kostenintensiven Rahmenvertrag aufsetzten, dann würde ich dich zukünftig daran erinnern, oder du nutzt einfach einen (analogen oder digitalen) Kalender, oder hörst einfach auf deine innere Uhr oder dein Bauchgefühl.