Alternative zu HyperBackup

[DirkKn]

Hi,

also ich glaube du solltest v.a. erst mal rausfinden, wo das Bottleneck ist. Hast du viele kleine Dateien, oder wenige große, sind die Festplatten, oder das/die Volume(s) am Anschlag, oder oder oder...
Erst dann macht es Sinn das Tool in Frage zu stellen.

Ich finde Hyperbackup durch die recht flexible und hohe Versionierungsmöglichkeit, sowie die Cloud-Anbindung durchaus gut; habe aber "lokal" auch noch ein rsync-Backup auf ein altes NAS (<> synology). Deswegen kann ich die Snapshots auch nur lokal und nicht als "Snapshot Replication" einsetzen.

Da ich mir die Synology-Artikel zu Snapshots angesehen habe und über NetApp-Erfahrung verfüge meine ich hier ähnliche Mechanismen zu SnapVault/SnapMirror zu sehen. Hierbei werden Snapshots auf der Quellseite erstellt und dann auf Block-Level zur Zielseite gebackupt/repliziert, was natürlich sehr effektiv und schnell ist.

rsync kann das prinzipiell zwar auch, da es aber nicht im File- bzw. Betriebssystem verankert ist halte ich es nicht für so zuverlässig, wie die Snapshots. So wie ich die Beschreibung von Ultimate Backup gelesen habe, wird es auch dort nicht verwendet. Somit kopiert man bei rsync bzw. Ultimate BU i.d.R. immer die gesamte Datei, wohingegen mit Snapshot Replication nur die geänderten Blocks übertragen werden. Ob du mit Snapshot Replication mehrere Versionen übertragen kannst weiß ich nicht (da ich keine zweite Synolgy habe). Aber es spricht meiner Ansicht nichts dagegen es einfach mal auszuprobieren. "Versuch mach kluch". Im schlimmsten Fall kannst du es ja einfach wieder deaktivieren.

Mein bevorzugter Ansatz wäre aber eine Snapshot Replication zwischen den Synologies und ein "off-site"-Backup mit HyperBackup (ext. HDD oder Cloud)

Beste Grüße
Dirk

 

[GrinGEO]

Hallo Dirk....

Ich habe 2x DS1815+ mit 20 (7x HDD SHR2) und 16 TB (8x HDD SHR) Kapazität, die sowohl während des Backups als auch Resstore beide immer unter 20% CPU und RAM Last bleiben. Beide NAS sind mittels LAG an einen LAG-fähigen Switch angebunden, die erste mittels 3x FullDuplex 1 Gbit und die zweite mittels 2x FullDuplex 1 Gbit. Bei direkten zugriffen komme ich locker auf 110 MB/sek, auch der letzte inkrementielle Backup ging von NAS1 auf NAS2 mit HyperBackup mit ca. 90-100 MB/sek vonstatten.

Daten habe ich relativ geringe Anzahl an Dateien, da ich Videoproduktionen erstelle (in Folge dessen fast nur große Videodateien sichere). Das Archiv z.B sind 4,42 TB mit 35.751 Dateien mit größen zwischen 1 MB für Dokumente bis hin zu mehreren Gigabytes für Videos.

Egal ob ich Archive wiederherstelle oder die Home Ordner, bei denen viele kleine Dateien vorhanden sind (keine Videos und fast nur Dokumente, Rechnungen usw) der recovery Speed ist immer 40-45 MB/sek, sehr konstant kaum Einbrüche.

Ich finde das HyperBackup Konzept auch sehr gut, gerade die intelligente Versionierung (75 eingestellt) ist Ok. Nur beim Erstbackup finde ich den Speed extrem lahm. Die CloudAnbindung von HyperBackup ist sinnlos, da bei den daten die ich immer sichere, das einfach zu lange dauert. Da ist mir der CloudSync auf der ersten NAS viel lieber, weil hier die Daten laufend und konstant gesichert werden. HyperBackup bietet mir eben die Versionierung an, mehr brauche ich auch nicht.

Ich habe ohnehin alle Daten auch parallel auf der Workstation, somit ist mein NAS1 mittels CloudStation mein 1 Backup, die Cloud mittels CloudSync mein zweites Backup, die NAS2 mit Haperbackup mein 3 Backup und sogar versioniert und das NAS3 (DS1515) sogar mein 4 Backup (und das an einem externen Ort). Darüberhinaus kommt, dass bis auf den Archiven (die nur auf der NAS1 sind und jedes Jahr 1x auf ext. Platten gespiegelt werden) die LIVE Projekte ohnehin zwischen den Clients über CloudStation immer gespiegelt werden, damit die Cutter durch die SSDs mit vollen 500MB/sek arbeiten können (da das LAN ja max 100MB je Client erlaubt).

Ich hätte somit meine Daten auch mittels CloudStation neu sichern können sogar über mehrere Clients aufgeteilt, aber ich wollte halt jetzt bei meinem HDD Upgrade von 20 auf 24 TB mit 4x 8 TB Seagate SkyHawk ein Recovery Test mal fahren. Denn Du weist ja, jedes Backup ist nur so gut wie die Möglichkeit, die daten wiederherzustellen.

Und gerade dieser Restore Prozess von HyperBackup ist halt mit 40 MB/sek einfach zu lahm. Ich hätte erwartet, dass ich auf mindestens 100-200 MB/sek komme durch das LAN Bonding, das wird aber derzeit noch nciht unterstützt dass 1 Client auch den vollen Bond ausnutzt. Aber dann sollen es doch zumindest die 100MB/sek sein, die eine 1 Gbit Leitung schaffen würde. Zumahl die HDDs intern laut einer Analyse locker 300-500MB im Schreiben/Lesen Daten schaufeln können.

Jetzt sag Du mir, wo Du denkst dass das Problem liegen könnte. Ist es wirklich Hardwareproblem oder doch einfach nur die HyperBackup Engine, die nicht mehr schafft? Ich kann mir da nichts so wirklich zusammenreimen... habe auch zu wenig Expertise darin.

Ich kann nämlich auf der NAS2 mittels Hyper Backup vault auf eine Datensicherung zugriefen und z.B. eine 3 GB Datei in 20 Sekunden auf meiner Workstation parallel herunterladen, während NAS1 gerade das Recovery von den 7 TB zieht, sodass der Speed von Bond1 von 30-40MB auf über 110MB/sek hochgeht. Also könnte die NAS2 ja die Daten schneller liefern, doch der Restore Prozess lässt wohl nicht mehr zu

 

[Tommes]

Hi!

Richtig, Ultimate Backup arbeitet ohne Versionierung. Die Gründe dafür wurden bereits im zugehörigen Thread öfters diskutiert. In Zukunft wird es aber sehr wahrscheinlich eine Art Versionierung geben, wir brüten da grade was aus. Wie auch immer....

Somit kopiert man bei rsync bzw. Ultimate BU i.d.R. immer die gesamte Datei, wohingegen mit Snapshot Replication nur die geänderten Blocks übertragen werden.

Hierzu ein kleines Zitat aus dem Wikipedia

Ein wichtiges Merkmal von rsync ist, dass es nicht nur ganze Dateien kopieren kann, sondern auch Teile von Dateien. Wurde auf dem Quell-Datenträger eine Datei verändert, werden nur die geänderten Teile dieser Datei auf das Zielsystem übertragen (Delta-Kodierung), womit Zeit gespart wird

Tommes

 

[DirkKn]

OK, ich habe verstanden, dass du 2x DS1815+ mit SHR2 Volumes hast. Diese nennst du NAS1 und NAS2.
Du fährst ein Recovery von NAS2 -> NAS1 mit ca. 40MB/s
Du kannst ein weiteres Recovery vom NAS2 auf eine Workstation gleichzeitig fahren, wodurch das Netz dann quasi saturiert wird.

Da die Recovery-Speed unabhängig von der Dateigröße und -anzahl ist, das Netzwerk scheinbar neben des Recoveries auch weitere Pakete vertragen kann und CPU/RAM auf der Zielmaschine NAS1 auch unkritisch ist, würde ich das Problem mal im Ziel-Volume der NAS1 bzw. bei den Platten (IO-Wait) suchen.
Was sagt denn die Volume und Datenträgerauslastung auf NAS1?(auch mal den Verlauf über einen Tag ansehen)

Gruß
Dirk

 

[GrinGEO]

Danke Dirk für den Tipp

NAS1 hat ja den HDD Upgrade erhalten und fährt derzeit mit 4x Seagate SkyHawk 8 TB Platten in SHR1 (SHR2 wurde abgeschafft aufgrund der Multi-Level Backup Strategie). Ich habe gerade einen Test auf NAS1 gemacht und eine Datei mittels Windows Explorer von meinem Client hochkopiert...

Ergebnis: er scheibt die Datei mit fast 110 MB/sek vom Client auf NAS1, während diese fröhlich weiterhin sein Restore von Hyper Backup zieht. Also daran liegt es wohl auch nicht.... Am Bond1 zeigte er mir teilweise 154MB/sek an im DSM

 

[DirkKn]

Hmmm, dann fällt mir aus der Ferne auch nicht weiter dazu ein, als dass es vielleicht doch ein Applikationsproblem sein könnte...

 

[PsychoHH]

Du kannst da wohl nichts machen außer damit leben oder dich bei Synology melden.

Übers Netzwerk schwanken die Werte einfach zu sehr. mMn liegt es an der Datenbanktechnologie.