Backup über DSL zu zweiter Synology bricht ab - Zwangstrennung?

[jahlives]

Verwendest du für den Vergleichstest dasselbe rsync Binary wie der DSM? Nicht dass du bei manuellen Tests ein anderes rsync verwendest z.B. von ipkg ;-)

 

[fpo4711]

Tja, so läuft das ab wenn mehrere Faktoren zusammenkommen. Also Fakt ist, die rsync-Lösung verwendet auf jeden Fall -W als Parameter was soviel bedeutet das kein File übertragen werden kann welches nicht zwischen zwei Zwangstrennungen übertragen werden kann. Bei meinem Problemfall war dies ein File mit 37GB. Unter idealen Bedingungen könnte dies bei einem Upload von 5Mbit funktionieren. Dies hat in der Vergangenheit auch schon in ähnlicher Größenordnung funktioniert. Nun war es aber an diesem Standort so, das dort VDSL25 zur Verfügung stand. Meiner Meinung war dort auch ein Upload mit 5Mbit möglich. Jetzt sind es aktuell aber nur 3,7Mbit. Und das reicht leider nicht.

Ein Kurzzeittest zeigte ein Tranfervolumen hochgerechnet von 35GB per 24 Stunden. Kann also selbst unter idealen Bedingungen nicht klappen. Und wie man am hochgerechneten Volumen erkennen kann, nutzt rsync auf der DS doch recht optimal die verfügbare Bandbreite.

Fazit: Ohne evt. zusätzliche Parameter wie --partial o.ä. und der manuellen Durchführung auf der Console, gilt der oben genannte Fakt unter DSM 4.2

Gruß Frank

p.s. Und ich danke noch Kollegen die mich an einer 100MBit Leitung mit anderer Hard-/Software tatkräftig verunsichert haben.

Und mein freundlicher Dank natürlich an jahlives der mich erst auf den richtigen Weg schickte.

 

[jahlives]

@Frank
ein 37GByte File kommt in einem "normalen" Backup doch eher selten vor ;-) Und wenn dann sind es meist irgendwelche Images welche sich u.U. eh nie mehr ändern werden. Bei solchen Riesenfiles sollte man auf jeden Fall das initiale Backup immer lokal machen. Klar gibt es auch Images welche sich schnell ändern, aber ich denke die wenigsten User hier werden davon betroffen sein (z.B. Disks von virtuellen Maschinen).
Wenn man aber so grosse Files hat und die sich auch häufig ändern, dann sollte man imho die Backups eh lokal auf externe Datenträger machen und dann einfach die Disk regelmässig ausser Haus bringen

 

[stefan_lx]

blöde Frage: hast du das Häkchen "Datensicherung in Blöcken" bei deinen Backups aktiviert?

 

[fpo4711]

@stefan_fx
Falls Du mich meinen solltest, Nein.

Gruß Frank

 

[stefan_lx]

äh sorry ja, ich meinte dich, Frank....
aktivier das doch mal und schau noch mal die Prozessliste an, ob das -W immer noch drin steht, bzw. was dann drin steht...

Gruß
Stefan

 

[jahlives]

könnte gut sein, dass dann -W nicht mehr steht.
Allerdings kann das je nachdem auch Probleme geben z.B. wenn sich am Backupziel das Datum der Dateierstellung verändern würde. Dann würden die einfachen rsync Checks meinen die Datei wurde verändert und rsync beginnt zu prüfen welche Blöcke lokal vorhanden sind und am Ziel nicht existieren. Bei einer 37GB-Datei dauert das sehr sehr lange lange nur um dann festzustellen: oops es musste ja nichts übertragen werden
Klar müsstest du in diesem Fall auch mit -W die gesamte Datei übertragen. Aber dabei kann rsync volles Rohr lesen und muss nicht einzelne Dateiblöcke ermitteln und auf der Gegenseite prüfen. Ein Backup mit "normalen" Dateien ist mit -W auf jeden Fall schneller durch. Vereinfacht: die einfachen Checks die rsync mit -W macht um feszustellen ob eine Datei verändert wurde (Dateidatum) sind billig. Die Checks für delta (bzw Übertragung veränderter Blöcke) sind hingegen sehr teuer was Prozilast und Laufzeit angeht

 

[stefan_lx]

der Vorteil des Häkchens ist, man kann es auch wieder rausmachen
will heissen: einmal das Häkchen rein, schauen, dass die Monsterdatei ankommt, danach Haken wieder rein und alle weiteren Backups sind wieder schnell.
Wobei ich mir nie sicher bin, was unterm Strich wirklich schneller ist...

 

[jahlives]

Wobei ich mir nie sicher bin, was unterm Strich wirklich schneller ist...

bei so grossen Dateien weiss ich es nicht aus Erfahrung. Aber normalerweise geht bei mir ein rsync über die Mailboxen mit -W in weniger als 5 Minuten über die Bühne (bzw ist -W ja der default von rsync wenn es ein lokaler Sync ist). Wenn ich den delta erzwinge kann ich den Server mindestens 2 Stunden in die Ecke stellen ;-). Klar Mails sind verhältnismässig kleine Files, aber dafür in sehr grosser Anzahl vorhanden. Für kleinere Files kann ich dir also garantieren dass es um Welten langsamer ist

 

[fpo4711]

Hallo,

der Parameter -W (bzw. auch das Fehlen des solchen) löst es leider nicht. Es wird weiterhin bei einem Start das File wieder von vorn synchronisiert. Mir bekannte Lösung ist nur Prozess suchen, Zeile kopieren, Aufrufparameter um --partial erweitern. Passwortdatei erstellen und entsprechend in den Paremetern Pfad ändern und das ganze manuell starten. Hat jedenfalls für mein eher seltenes Problem funktioniert. Der Aufruf ist dann natürlich täglich bis zum Erfolg noch zu wiederholen.

Gruß Frank