Hyper Backup Einfaches Synchronisieren von Ordnern auf externes NAS im lokalen Netz

[willinelkel]

Hallo zusammen,

ich habe meine Workstation abgeschafft und arbeite aktuell nur mit einem Laptop.
Da ich viele Daten hatte, sind diese jetzt auf einer DS220j gespeichert.

Ich würde gerne einmal wöchentlich den Inhalt von 2 Ordnern auf einem QNAP TS-853 Pro sichern.
Die Lösungen mit Hyper-Backup und co. sind mir aufgrund der Geschwindigkeit zu langsam. Teilweise habe ich nur Übertragungsraten von 5 MB/sec.
Kopiere ich manuell, komme ich auf ein vielfaches der Geschwindigkeit. 500 MBit/s +

Da ich die Aufgaben der Synchronisierung gerne automatisch durchführen würde, ohne das Laptop zu starten nun meine Frage, ob es ein Tool gibt, das diese Aufgabe automatisch übernimmt.

Ich hab genügend Speicherplatz am QNAP und brauch auch keine Komprimierung oder sonstiges. Ein reines Kopieren auf Dateiebene würde mir reichen.

Danke für Eure Tipps.

 

[luddi]

Ein selbst geschriebenes Script welches rsync verwendet um die Daten von der DS220j auf das QNAP zu übertragen. Und das Script wird nach deinem gewünschten Zeitplan einfach in den Aufgabenplaner gehängt.

 

[willinelkel]

Hey luddi,

danke für Deine schnelle Antwort.
Wäre diese Variante schneller als Hyper-Backup?

 

[luddi]

Die Frage die sich mir stellt, wie hast du denn Hyper Backup eingerichtet? Einfach als Einzelversion? Und wurde dabei auch bereits rsync verwendet?

 

[willinelkel]

Ja habe es eingerichtet. Sowohl am QNAP den RSYNC-Server gestartet, Benutzer definiert etc. Nach ca. 3 Stunden hatte ich gerade mal 50 GB transferiert. Also grottenlangsam. Normalerweise kann ich Daten vom Synology zum QNAP mit roundabout 500 - 600 MBit/s schieben.

 

[luddi]

Was heißt normalerweise? Welches Protokoll wird hierfür verwendet, wenn du 500–600 MBit/s erreichst? Ich würde vermuten dass es sich hierbei um eine Verbindung via SMB handelt.

 

[willinelkel]

Ja genau

 

[luddi]

Okay verstehe. Da du ohnehin schon Hyper Backup via rsync verwendest und ich in Beitrag #2 vorgeschlagen habe ein eigenes Script zu schreiben, um rsync zu nehmen sehe ich hier wohl kaum Potenzial zur Verbesserung.

Ist dir bisher bewusst, dass rsync nicht das schnellste Protokoll ist? rsync ist zwar stabil aber leider kein Rennpferd und liegt daran, dass hier Prüfsummen gerechnet werden, um die Datenkonsistenz zu gewähren.

 

[willinelkel]

Das ist ja genau die Frage. Es ist mir zu langsam....

 

[luddi]

Es gibt natürlich einen Unterschied wenn man rsync über SSH verwendet oder über SMB.
Ich habe einmal folgenden Vergleich gemacht.

Datei mit einer Größe von 10 GB von einem Raspberrry Pi via rsync an das Synology NAS übertragen.

• rsnyc via SSH rsync -e "ssh -p <PORT> -i <ID_RSA>" <SOURCE> <TARGET>
• rsync via SMB auf ein gemounteten NAS Share rsync <SOURCE> <TARGET>

Die zusätzlich Übertragungsverschlüsselung via ssh benötigt dementsprechend mehr Resourcen und resultiert somit auch in einer längeren Übertragungszeit.

Das Ergebnis sieht wie folgt aus:

• via SSH
  • sent 10,74G bytes received 87 bytes 27,09M bytes/sec
• via SMB
  • sent 10,74G bytes received 63 bytes 45,03M bytes/sec

Hier sieht man, dass die Übertragung via SMB deutlich schneller ist als über SSH, obwohl in beiden Fällen rsync zum Kopieren verwendet wurde. Wobei man aber auch erwähnen muss, dass der Faktor nur annäherungsweise 2 beträgt.

Natürlich entspricht mein Wert noch lange nicht, dem was bei dir über SMB möglich ist mit der Angabe von 500 bis 600 MBit/s (62,5 bis 75 MByte/s).

Nicht desto trotz, ein Kopiervorgang mittels rsync ist immer langsamer als ein normaler Kopiervorgang über cp.
Du kannst dir jetzt ein eigenes Script schrieben worin auf rsync verzichtet wird, nur wir es dann sicher nicht einfach mit der Synchronisation bzw. man kopiert immer alles von A nach B und es dauert unter Umständen länger als mit rsync.
Ein großer Vorteil von rsync ist, dass nur das Delta von der Quelle an das Ziel übertragen wird und nicht jedes Mal das gesamte Verzeichnis mit seinem kompletten Inhalt.

EDIT:
Hier nochmals das Ergebnis, wenn man die gleiche Datei mit der Größe von 10 GB via cp Befehl über SMB überträgt.
Auch hier wie im vorherigen Beispiel wurde die gleiche Quelle und das gleiche Ziel verwendet.

cp /volume1/temp/dummyfile.img /root/<SMB_SHARE>/temp
0,11s user
77,20s system
68% cpu
1:52,76 total

Wenn man eine 10 GB große Datei in 77 Sekunden übertragen kann, dann ist das eine Übertragungsrate von 1000 MBit/s (125 MByte/s). Hier wird deutlich, dass man ohne rsync auch die physikalischen Grenzen von Gigabit Ethernet erreicht.

 

[luddi]

Mir ist da ein kleiner Fehler unterlaufen und hatte auf den falschen Wert geschaut. Natürlich ist es der Wert total mit 1m 52s und somit ist die Übertragungsgeschwindigkeit ca. 700 Mbit/s = 87.5 MByte/s.
Nicht desto trotz sind das annäherungsweise gute Werte und entspricht auch deiner Erwartungshaltung.

 

[willinelkel]

Moin,

Ja danke. Ich bräuchte halt n Tool, dass das tut. Automatisiert und ggf. nur Änderungen kopiert. Also synchronisiert. Ähnlich wie puresync am PC.

 

[luddi]

Mir würde da spontan Syncthing einfallen. Wie hierbei die Geschwindigkeit ist kann ich nicht sagen weil wenig Erfahrung bisher. Das lässt sich in der Regel als Docker installieren wobei ich nicht weiß ob deine DS220j Docker unterstützt.

 

[synfor]

@luddi tut sie nicht.

 

[luddi]

Das weiß ich doch War ja nur als kleiner Hinweis gemeint.

 

[willinelkel]

Das war mir sogar bekannt, dass docker nicht auf der ds220j läuft. Na dann muss ich es wohl manuell tun.

 

[willinelkel]

So Leute,

ich habe jetzt mal mein Synology DS220j trotzdem per RSYNC bzw. Hyper Backup auf ein QNAP-NAS gesichert.

Die Geschwindigkeit war grottenschlecht.
Für 1,5 TB hat die Sicherung 1 Tag, 17 Stunden und 20 Minuten gedauert.

Hat jemand Erfahrung, ob die darauffolgenden inkrementellen Sicherungen (geplant ist einmal pro Woche) schneller von statten gehen?

 

[RichardB]

Ja tun sie - auch in Deiner Konfiguration, da ja nur mehr neue/geänderte Daten gesichert werden.

 

[willinelkel]

Hy Richard,
danke für die Blitzantwort. Die erste Datensicherung war echt grenzwertig. Hab mir schon überlegt, dass das DS220j vielleicht zu langsam ist.

 

[RichardB]

Na ja, ein j-Modellist per se kein Rennpferd (nur welche DS ist das schon) Und wenn es nur darum geht, dass ein Server auf einen anderen sichert, ist die Geschwindigkeit letztlich egal. Ich muss den Dingern ja nicht zusehen.