Extrem lange laufzeiten für inkrementellen Backups (via Netzwerk)

[entro]

Moin moin,

ich habe folgende Testumgebung:

• DS713+ mit zwei WD Red 3TB
• DSM 5.0-4493 Update 7
• ca. 70 GB Nutzdaten verteilt auf ca. 250k Dateien und 70k Ordner
• 10 Mbit/s SDSL
• Rootserver mit 200 Mbit/s Anbindung, i7-3770, 32GB DDR3 und SATA III Platten

Ich versuche via Network Backup (rsync-compatible server) die DS zu sichern. Da ich die Übertragung gerne verschlüsseln möchte, kam für mich nur der Weg via SSH in Frage (d.h. ich habe als Backupmodul einen absoluten Pfad angegeben).

Das initiale Backup lief ca. 24 Stunden (die Leitung stand leider nicht voll zur Verfügung).

Die inkrementellen Backups (mehrfach getestet) brauchen nun ca. 7h, obwohl nichts an den Testdaten verändert wurde (laut DS sollen 10B übertragen werden).

Während des Backups läuft auf der DS der Dienst synonetbkp mit ca. 25% CPU Utilization und einem I/O Wait von ca. 2%. Zugriff auf den Rootserver erfolgt nach einem kurzem login/logout via SSH keiner mehr, somit scheint die Leitung nicht das Problem zu sein.

Ich hätte eigentlich erwartet, dass die inkrementellen Backups deutlich schneller durchlaufen.

Die Testdaten von einem Debianserver (alte Hardware) lassen sich via rsync beim zweiten Durchlauf innerhalb von 10 Minuten abgleichen.

Was mache ich falsch?

Viele Grüße
Maik

P.S. Ich haben eben die Threads zu Themen wie “Verschlüsseltes, inkrementelles Backup mit Duplicati“ etc. gelesen, wäre aber eigentlich froh, wenn ich die von Synology bereitgestellten Mittel nutzen könnte.

 

[entro]

So, ich habe grad einfach mal nen rsync "von Hand" eingerichtet und mit wenigen GB ein paar mal durchlaufen lassen. Die inkrementellen Durchläufe sind innerhalb von Sekunden abgeschlossen...

 

[dil88]

Du hast sehr viele Dateien und extrem viele Verzeichnisse. Deren Abgleich übers Netz wird lange dauern.

 

[entro]

Moin dil88,

es findet aber kein Abgleich über das Netz statt. Wie bereits geschrieben, arbeitet die DS ohne Zugriff auf das Netzwerk.

Und so richtige viele Dateien sind dass nun auch nicht. Was solle denn erst passieren, wenn ich eine DX513 anschließen?

Viele Grüße
Maik

 

[dil88]

Nein, aber sehr viele Verzeichnisse. Du hast doch im ersten Beitrag geschrieben, dass beim initialen Lauf nicht die komplette Bandbreite zur Verfügung stand und das inkrementelle dann 7h gedauert hat. Jetzt schreibst Du, dass die DS keinen Netzzugriff hat. Entweder bin ich zu blöd, mein Smartphone-Überblick ist zu klein oder das passt nicht zusammen. Hilf mir 'mal auf die Sprünge.

 

[entro]

Moin dil88,

das Netzwerk stand nur beim initialen Durchlauf nicht zur Verfügung. Bei den inkrementellen Runden (die über Nacht liefen) hatte ich volle Bandbreite.
Ob es viele Dateien und/oder Verzeichnisse sind, liegt glaube ich im Auge des Betrachters - mein Problem ist, dass dies ja nur Testdaten sind und die echte Nutzlast deutlich größer ist.

Um nochmal auf das Problem mit dem Netzwerk zurück zu kommen: es kann nicht das Netzwerk sein, denn die DS greift bis auf einen kurzen connect am Anfangt (um wahrscheinlich "sending incremental file list" zu vollziehen) NICHT auf das Netzwerk zu.

Ich habe beides nochmals mehrfach getestet:
(selbe Testumgebung wie oben, die initialen Durchläufe sind fertig, es folgen nur noch inkrementelle)
Network Backup via synonetbkp -> 7 Stunden
Backup "von Hand" via rsyc (AUF der DS) -> ca. 1 Minute

Hier noch kurz mein Aufruf:

rsync --numeric-ids --delete --stats --exclude=\#recycle -avze ssh /volume1/test user@example.de:/home/user/volume1/

Viele Grüße
Maik