Hyper Backup Hyper Backup unerträglich langsam

[Jeeosch]

Aber irgendetwas muss doch faul sein, denn im Englisch-sprachigen Forum gibt es ebenfalls einen sehr langen Thread zum Thema:
https://forum.synology.com/enu/viewtopic.php?f=268&t=116272&p=476489#p476489

 

[rednag]

Kann dieses Hyper Backup mittlerweile eigentlich unterbrochene Tasks (Userfehler, Zwangstrennung, Stromausfall etc) auf eine andere NAS über das Internet auch wieder aufnehmen ohne den gesamten vorher hochgeladenen Stand erneut hochladen zu müssen?

 

[moonlightshaker]

zur Info am Rande.
Habe nochmal ein Backup gemacht. Gleiche Komponenten und Datenmenge, nur das ich eine Standard Hyper Backup Aufgabe erstellt habe.
Hat bei 1,33TB ca. 14,5 Stunden gedauert. CPU Auslastung bei ca. 60-75%.

Also hier spielt auch die Leistung der Nas und sicher auch die Zusammensetzung der Daten ein Rolle.

 

[Oceanwaves]

Ich schiebe diesen Thread mal ein wenig nach oben ... ;-) ... denn ich habe zur Zeit ebenfalls massive Probleme mit Hyper Backup.

Mein Setup:
DS214play mit DSM v6.1-15047 Update 1
Hyper Backup v2.0.2-0433
Externe WD MyBook USB 3.0 6TB, formatiert in EXT4

Meine HW-Konfiguration ist ähnlich (nur ein 4 TB MyBook bei 2 x 3 TB RAID1 in der DS214play) und ich möchte mich jetzt auch mal ausweinen ;-)

Habe bis zum Wechsel auf DSM 6.1 TimeBackup genutzt und war damit immer sehr zufrieden (zumindest seit ich wusste, wie man die Versionierung z.B. auf 1 Monat begrenzen kann). Das nächtliche Backup dauerte rund 30 Minuten und alles war gut.

Das erste Backup mit HyperBackup ging realtiv "schnell": ca. 2 TB in unter 4 Tagen (keine Verschlüsselung, keine Komprimierung). Das Backup beinhaltet z.B. die tägliche Datensicherung meines Linux-Rechners, die MP3-Sammlung und das Video-Archiv (nimmt mit ca. 350 Filmen und einigen Serien den meisten Platz ein).

Da die tägliche Sicherung allerdings knapp 3 Stunden dauerte, habe ich jetzt die MP3-Sammlung raus genommen, da die sich (dank Spotify Premium) kaum noch ändert. Aber eine (wöchentliche) Sicherung wollte ich schon haben. Also habe ich eine weitere Backup-Aufgabe erstellt und wollte nur die 120 GB MP3s ebenfalls unkomprimiert und unverschlüsselt ebenfalls auf das MyBook packen.

Nach knapp 2 Stunden hatte HyperBackup auch 26% geschafft so dass ich optimistisch war, dass das Backup heute morgen fertig wäre. War's leider nicht. Heute morgen um 6:00 Uhr war es bei 43% (52 GB), seitdem (8 Stunden) ist nicht viel passiert: um 14 Uhr waren es 46%, 57 GB. Ca. 70 GB hat HB noch vor sich, das wären hochgerechnet noch gut 4 Tage :-(.

Die CPU-Auslastung schwankt zwischen 8 und 15%, ich war heute morgen allerdings mal per ssh auf der Syno und top zeigte mir einen Load von 23 an. Seltsamerweise war aber kein Prozess zu sehen, der hohe Last erzeugte. Manchmal gingen einzelne Prozesse auf 25-35% CPU hoch, aber woher der Load von 23 kommt, war nicht zu erkennen.

Interessanterweise hat das Backup zwischen 14 und 15 Uhr einen großen Satz gemacht:

04.04. 21:00 Start Backup
04.04. 23:00 26%
05.04. 06:00 43% (52 GB)
05.04. 14:00 46% (57 GB)
05.04. 15:00 58% (71 GB)

Am Vormittag also in 8 Stunden ganze 5 GB geschafft und dann in einer Stunde plötzlich 14 GB.

Ich denke, ich werde mir mal Ultimate Backup anschauen...

 

[Kurt-oe1kyw]

hmmmmmmm, kann es sein dass ihr alle noch eine alte Version von Hyperbackup benutzt?
Als ich das Update von DSM 6.0.x auf die derzeit aktuelle DSM 6.1-15047 mit anschliessendem Update 2, wurden bei mir auch 5 Programmpakete aktualisiert.

U.a. auch Hyperbackup und meine Version ist jetzt Hyperbackup 2.0.3-0464 meine Backupsicherung ist von der DS916+ hinterer USB3.0 Anschluss an der eine inateck Dockingstation FD1003 hängt und als HDD nutze ich eine WD red 8 TB und wenn ich da Videodateien übertrage ist das alles andere als "langsam", siehe Bild:



Dazu muss die externe HDD allerdings als ext4 formatiert sein, sonst erreiche ich diese Geschwindigkeit nicht UND selbstverständlich geht das nur mit großen Videodateien!
Wenn ich mehrere kleinere Dateien unterschiedlicher Formate sichere, dann geht es zwischen 38-115 MB/s.

Also ich würde sagen dass Hyperbackup dem Grunde nach nicht langsam und Träge ist, ich vermute hier eher das Ziel und der darin verbaute Controller als "Bremse".
Zumindest bei mir erreiche ich diese Geschwindigkeit nur bei der USB 3.0 Verbindung, über das Netzwerk schaffe ich max 115MB/s

Noch etwas ist mir beim neuen Hyperbackup aufgefallen, da werden bei mir jetzt "mehr" Controllertypen angezeigt wenn ich die inateck Dockingstation anstecke:



Und ich bin 100% sicher, dass da vorher nur ein Controller angezeigt wurde und nicht wie jetzt 3.

Nachtrag:
Ganz wichtig, ich nutze die 1:1 Kopie also "Lokale Datenkopie" von Hyperbackup.

 

[PsychoHH]

HB braucht aber auch Performance, kA ob auch nur 1 Kern genutzt wird.
Könnte man ja mal checken.

Theoretisch sollte es dann auch einfach nur ein rsync sein der genutzt wird, daher ist das auch ziemlich flott.

Bei einer starken DS hatte ich im Test aber auch gerne mal so 90-110 MB/s

 

[independence2206]

Also ich beobachte auch HB-Sicherungen, welche extrem lange dauern, obwohl nur minimal wenig MB kopiert werden müssen. Bei mir sind die Quellverzeichnisse allerdings extrem groß, sodass HB zuerst mal auf veränderte Daten prüfen muss.
Ich habe auch oft schon den Quercheck gemacht und manuell per FreeFileSync ein Backup erstellt. Hier braucht dann der reine Check auf Veränderungen schon zwischen 1-2 Stunden und hierbei wurde ja noch nichts kopiert. Dann kommt der Kopiervorgang noch hinzu, nimmt aber bei meiner Konfig sehr wahrscheinlich nur einen Bruchteil der Zeit ein.

Also generell habe ich auch das Gefühl, dass HB nicht das schnellste ist, allerdings wie bereits erwähnt vermute ich, dass der Großteil der Zeit auf den Check der Veränderungen entfällt..

 

[Oceanwaves]

hmmmmmmm, kann es sein dass ihr alle noch eine alte Version von Hyperbackup benutzt?
Als ich das Update von DSM 6.0.x auf die derzeit aktuelle DSM 6.1-15047 mit anschliessendem Update 2, wurden bei mir auch 5 Programmpakete aktualisiert.

U.a. auch Hyperbackup und meine Version ist jetzt Hyperbackup 2.0.3-0464 meine Backupsicherung ist von der DS916+ hinterer USB3.0 Anschluss an der eine inateck Dockingstation FD1003 hängt und als HDD nutze ich eine WD red 8 TB und wenn ich da Videodateien übertrage ist das alles andere als "langsam", siehe Bild
[...]
Ganz wichtig, ich nutze die 1:1 Kopie also "Lokale Datenkopie" von Hyperbackup.

Ah, den Mouseover kannte ich noch gar nicht ;-). Also das 1. Backup meiner MP3-Sammlung (also ohne Check auf Veränderungen etc.) läuft aktuell mit 600 KB/s (nachdem ich erst eine Zeitlang nur "0 B/s" angezeigt bekam):



Allerdings mit Versionierung, Version ist ebenfalls 2.0.3-0464. Trotzdem ist die Geschwindigkeit momentan wieder recht lahm:

04.04. 21:00 Start Backup
04.04. 23:00 26%
05.04. 06:00 43% (52 GB)
05.04. 14:00 46% (57 GB)
05.04. 15:00 58% (71 GB)
05.04. 16:30 60% (73.6 GB)

 

[Oceanwaves]

04.04. 21:00 Start Backup
04.04. 23:00 26%
05.04. 06:00 43% (52 GB)
05.04. 14:00 46% (57 GB)
05.04. 15:00 58% (71 GB)
05.04. 16:30 60% (73.6 GB)

Und jetzt wird Gas gegeben mit über 20 MB/s:
05.04. 17:00 80% (98 GB)

Muss man nicht verstehen...

 

[Oceanwaves]

Und jetzt wird Gas gegeben mit über 20 MB/s:
05.04. 17:00 80% (98 GB)

Muss man nicht verstehen...

Nach ziemlich genau 20 Stunden ist das initiale HyperBackup von 125 GB MP3s durch. Dann starte ich jetzt mal das nächste Projekt mit HB: 150 GB, überwiegend Dateien, die kleiner als 500 KB sind...

 

[danio]

400 GB verschlüsselt auf USB3 Laufwerk wurden auf einer DS213+ nun in knapp über 14 Stunden gesichert, also knapp 8 MB/s. Das ist schon recht erbärmlich, aber wenn ich an meine Backups auf Tape Libraries denke auch nicht schlimmer. Viel zu viele kleine Dateien.

Allerdings musste ich die verschlüsselten Shares aus dem Backup nehmen, die führten zum Abbruch. Und da die Shares zumindest hier zum Schluss dran waren, war das um so ärgerlicher. Die Datenrate sank hier auf wenige kb/s bis zum Abbruch. Da ich sonst unverschlüsselt sichere (weil schneller), ist mit das bisher nicht aufgefallen. Aber dieses Backup soll in Fremdunterbringung gehenm, daher war das notwendig. Konnte das noch jemand beobachten?

 

[whitbread]

Ich weiss nicht, wie ich es anders sagen soll, aber HyperBackup ist für mich ein Rohrkrepierer.

Ich kann mich mit dieser Datenbank als Sicherungsziel einfach nicht anfreunden, zumal sich diese jetzt ja in einem freigegebenen Ordner befindet. Damit entfällt der zusätzliche Schutz gegen Verschlüsselungstrojaner. Viele kleine Dateien waren schon immer tödlich für die Performance und so ist es kein Wunder, das die Performance unterirdisch ist. Kommt dann noch Verschlüsselung und eine etwas langsamere NAS dazu geht fast gar nix mehr.

Bei Nutzung der alten Methode (Datenkopie) läuft das Ganze nach wie vor halbwegs 'rund. Vorgänge auf eine ext. Platte (bei mir eSATA) laufen tatsächlich sogar fix. Allerdings muss man auf Versionierung verzichten und rsync zwischen zwei NASen ist nicht gerade schnell. Für mich ist das gute alte Backup Teil meiner Backup-Strategie. Ich zähle es daher nicht zum HyperBackup, auch wenn es von dort gestartet wird.
Wer Versionierung braucht sollte sich mal UltimateBackup anschauen.

Allerdings, was wirklich geil läuft ist die Replikation aus dem Snaphot und Replication Paket. Hier habe ich filebasierte Sicherung, Versionierung und sauschnelle Übertragung in einem. Sogar parralel laufende Backupvorgänge sind möglich. Einzig die HW-Anforderungen sind recht hoch. Für mich aktuell die beste Variante aus den zahlreichen Sicherungsmöglichkeiten im DSM. Ich nutze es aber in Kombination mit dem alten Backup (s.o.).

 

[mb01]

Eigentlich war ich mit Hyper Backup recht zufrieden. Ich sicher damit dateibasiert, also der alten Methode, von meiner DS415+ über Gigabit-Lan auf eine DS416play, beide jeweils mit Adaptive Load Balancing aktiviert an einem Switch. Das ging eigentlich immer recht fix und erreichte einen Speed von 40-80 MB/s je nach Daten.

Seit kurzem hab ich das Problem, dass die DS415+ auf die DS416play nur mit 1-1,2 MB/s gesichert hat, aber penetrant. Danach habe ich just for fun mal den Bond auf der DS416play entfernt und beide DS neu gestartet. Danach hatte ich konstant 11-12 MB/s. Im Taskmanager der DS415+ taucht als Systemdienst "rsync" mit ~25% CPU-Belastung auf (1x voller Kern), die DS416play langweilt sich.

WTF? Kann nicht mehr genau sagen, was zwischen "vorher" (gut) und "nachher" (schlecht) passiert war. Das letzte Update 2 von 6.1 und evtl. noch ein HyperBackup-Update könnten dazwischen liegen, aber am grundsätzlichen Setup bzw. dem Backup-Job hatte ich nichts gändert.

 

[dil88]

Hast Du einmal zum Vergleich einen rsync-Aufruf auf der Shell laufen lassen und die Performance gemessen?

 

[mb01]

Gestern noch mal probiert und letztendlich dann hatte ich wieder ~60 MB/s. Eine Sache ist mir allerdings aufgefallen: Als ich den Backup-Job gestern Abend noch einmal aufgemacht habe, hatte er plötzlich einen Haken bei "Übertragungskomprimierung" gesetzt, den ich dann rausgenommen habe. Kann´s mir nicht vorstellen, aber womöglich hatte ich den gestern "aus Versehen" gesetzt, nachdem ich nur 1-1.2 MB/s hatte. Könnte vielleicht die 12 MB/s und die Auslastung eines Cores erklären. Warum ich zuerst nur die 1-1.2 MB/s hatte, erklärt das aber auch nicht, zumal ich zu dem Zeitpunkt zu 100% sicher keine Komprimierung drin hatte und 1:1 die funktionierenden Einstellungen vom letzten Backup zuvor drin hatte.

... bleibt wohl nur die "Schluckauf-Theorie"

 

[whitbread]

Nein, alle Häckchen fressen CPU-Power; bei älteren / langsameren CPU's geht das ins Bodenlose!

Kann meine DS211j bspw. weder mit Verschlüsselung noch mit Komprimierung betreiben ohne wochenlang auf ein Abschluss der Backup-Jobs warten zu müssen.

 

[ArthurConan]

Ich bin im Besitz einer DS416j und habe die letzten Tage die Station eingerichtet und mit Daten gefüttert. Soweit bin ich echt begeistert vom Produkt. Nun geht es darum eine geeignete Backup Strategie zu finden um die 9TB Daten zu sichern. Gestern Abend habe ich dann den ersten Versuch unternommen via HyperBackup einen Ordner von 450 GB zu sichern (verschlüsselt, aber ohne Komprimierung). Jetzt 12h später ist das Ding durch. Das kann doch nicht deren Ernst sein? Das ist ja nichteinmal 1TB pro Tag?

Die Zeit für ein Backup hätte ich ja, aber ein Restore sollte dann schon deutlich flotter gehen. Ich bin jedenfalls weiter am Testen...

 

[dil88]

Willkommen im Forum!

Der Zeitbedarf ist bei solchen Datenmengen kein unwichtiger Aspekt für ein Backup/Restore. In Deinem Fall haut die Verschlüsselung 'rein. Wenn Du die ausschaltest, dürfte es deutlich schneller gehen. Wenn das immer noch nicht reicht und Du keine Versionierung brauchst, könntest Du es einmal mit der Datenkopie versuchen (siehe Screenshot). Möchtest Du Versionierung nutzen, könntest Du das Community Paket Ultimate Backup ausprobieren.

 

[ArthurConan]

Hi dil88,

so richtig werde ich aus HB nicht schlau. Habe noch ein paar Testläufe durchgeführt.
450 GB (verschlüsselt, nicht komprimiert) -> 12h (~10,4 MB/s)
95 GB (nicht verschlüsselt, nicht komprimiert) -> 1,5h (~ 17,5 MB/s)
150 GB (nicht verschlüsselt, nicht komprimiert) -> 4h (~10,4 MB/s)

Verarbeitet wurden bei allen drei Läufen RAW files (25 MB) und TIFF files mit 100-300 MB..

Sobald ich das Backup starte "fliegt die Kuh". Da wandern 2-3 GB pro Minute ins Backup. Je länger es dauert um so langsamer wird aber alles. Im Endeffekt pendelt es sich bei 10 MB/s ein. Komprimierung und Verschlüsselung scheinen überhaupt keine Rolle zu spielen. Das ist einfach nur schlecht.

 

[whitbread]

Das ist einfach nur schlecht.

Sehr schöne Zusammenfassung, die ich uneingeschränkt teile.

Wenn Backup von Synology dann Backup nach der alten Methode (Datenkopie in Synology Terminologie).
Wenn Versionierung gewünscht dann Ultimate Backup oder Snapshot & Replikation.