Backup über DSL zu zweiter Synology bricht ab - Zwangstrennung?

[jospBln]

Hallo,

ich habe in einer anderen Wohnung eine zweite DS213j stehen. Beide Diskstations hängen an einer guten DSL-Leitung und finden sich über Dynamisches DNS.

Allerdings brach rsync heute Nacht mit folgender Fehlermeldung ab:
"rsync: failed to connect to 87.177.173.xx (87.177.173.xx): Connection timed out (110)"

Das lag wohl an der Zwangstrennung.
Kann man rsync nicht sagen, dass es anstatt nach einer IP nach einem DNS Eintrag schauen soll? Der würde ja auch bei einer Zwangstrennung funktionieren.

Wie gehe ich vor?

Besten Dank
Jörg

 

[Merthos]

Wenn Du bei der Konfiguration den DNS eingetragen hast, dann nimmt er den schon. Aber am Ende muss er zu einer IP auflösen, nur damit geht dann die tatsächliche Verbindung. Und wenn die Trennung mitten in der Übertragung passiert, dann hast Du Pech.

Eventuell kannst Du die Trennung zeitlich verschieben (einige Router haben dafür eine Option). Ansonsten auf mehrere Backup-Jobs verteilen, um die zu übertragende Menge zu reduzieren. Mehr kannst Du nicht machen...

 

[mega]

Wichtig ist, das eine einzelne Datei nicht größer sein darf, als man innerhalb 24 Stunden übertragen kann.

 

[bishop2k]

...

Allerdings brach rsync heute Nacht mit folgender Fehlermeldung ab:
"rsync: failed to connect to 87.177.173.xx (87.177.173.xx): Connection timed out (110)"

...
Jörg

mich wundert das die IP da drinsteht statt des dyndns namens.

trag beim backup mal den dyndns des zielservers ein.

du kannst dann nach jeder netztrennung das share auf dem zielserver auf groesse pruefen.
ist der zielshare gewachsen, hat das backup weitergemacht.
irgendwann ist es dann mal fertig und danach gehen die jobs sehr schnell, jenachdem was man an neuen daten zu uebertragen hat.

 

[jospBln]

mich wundert das die IP da drinsteht statt des dyndns namens.

trag beim backup mal den dyndns des zielservers ein.

Das habe ich bereits, aber rsync scheint im Endeffekt leider nur mit der IP zu arbeiten. Außerdem macht es auch keinen resume. Daher bleibt wohl wirklich nur, frü morgens nach der Zwangstrennung den sync zu starten und dann zu hoffen, dass die Dateien komplett an einem Tag durchgehen. Ich arbeite mit Videos, die schnell mal 5GB groß werden können, das wird knapp.

Kann man irgendwo einen Feature-Request bei Synology eintragen? Das Nachschauen von rsync nach dem DNS wäre ein wichtiges Feature. Resume auch...

 

[Merthos]

Er nimmt den DNS, kannst Du schon glauben. Trotzdem ist eine Verbindung immer zu einer IP, deshalb steht das so im Log.

 

[jospBln]

Ok, das ist schon mal gut, aber kann ich mehr machen, als den DynDNS (no-ip.com) einzutragen?

 

[jospBln]

ah... Antwort stand ja schon oben... Das ist bei mir aber leider nicht möglich.
Daher wäre es besser, wenn rsync im Falle eines Abbruchs noch mal den DNS nachschauen würde....

 

[bishop2k]

OK,

wenn du 5 gb files hast und die sicherung bricht waehrend der uebertragung eines solchen files ab, uebertraegt die kiste beim naechsten mal die 5gb komplett neu.

ein resume wie du es evtl. von ftp kennst gibt es wie merthos bereits richtig angemerkt hat hier nicht.

es gibt aber noch die variante via script zu sichern.
dann koennte man ggf. ein ftp script machen.
grundsaetzlich halte ich die rsync variante aber fuer sinnvoll.
irgendwann ist das backup ja mal fertig.
wenn du aber jeden tag mehrere 5gb dateien neu herstellst, dann bleibt imho nur schnellerer upstream oder lokale sicherung.

 

[jospBln]

OK,
es gibt aber noch die variante via script zu sichern.
dann koennte man ggf. ein ftp script machen.
grundsaetzlich halte ich die rsync variante aber fuer sinnvoll.
irgendwann ist das backup ja mal fertig.

Das wird mir nicht ganz klar: Ein 5GB File wird mit rsync niemals fertig, oder? Aber kann FTP resume?

Ich habe gerade einen Test mit einem 3,5GB file getestet, das ging in 8 Stunden durch. Könnte also hinhauen. Wenn ich zur Not auf das höchste DSL umstelle, sollte es gehen. Schöner wäre aber resume....

 

[bishop2k]

doch, der file wird fertig solange waehrend der uebertragung das netz nicht abreisst.
reisst die verbindung nach 4,5 gb ab, so wird der file beim naechsten rsync wieder komplett uebertragen.
gehen die gesamten 5gb in 1 rutsch durch, ist der naechste file dran.

ftp kann resume,
da musste aber hier mal bei den experten fragen.
die variante ist auf jeden fall kommandozeile / script
solltest du eine solche loesung finden, melde ich mal interesse an!

 

[fpo4711]

Hallo,

hab das zwar noch nicht gegengeprüft aber hier mal ein Auszug aus Wikipedia.

Ein wichtiges Merkmal von rsync ist, dass es nicht nur ganze Dateien kopieren kann, sondern auch Teile von Dateien. Wurde auf dem Quell-Datenträger eine Datei verändert, werden nur die geänderten Teile der Datei auf das Zielsystem übertragen (Delta-Kodierung). Das kann speziell bei unkomprimierten Dateitypen erhebliches Transfervolumen einsparen und die Synchronisation deutlich beschleunigen. rsync wurde unter anderem von Paul Mackerras und Andrew Tridgell aus dem Samba-Team entwickelt.

Gruß Frank

 

[Merthos]

Wenn die Datei einmal fertig ist, dann ja...

 

[jahlives]

@Frank
kommt drauf an wie die Pfade angegeben werden. Bei lokaler Quelle und lokalem Ziel ist der default das gesamte File zu übertragen

-W, --whole-file
With this option rsync's delta-transfer algorithm is not used and the whole file is sent as-is instead. The transfer may be faster if this option is used when the bandwidth between the source and destination machines is higher than the bandwidth to disk (especially when the "disk" is actually a networked filesystem). This is the default when both the source and destination are specified as local paths, but only if no batch-writing option is in effect.

 

[fpo4711]

Hallo,
wie der Teufel es will, ich hab jetzt seit zwei Tagen bei einer Installation mit DS Synchronisation Meldungen über fehlgeschlagene FolderSynchronisation erhalten. Hier befindet sich in einem Ordner ein 37GB großes File an dem der Sync scheitert. Das bestätigt wohl das der Parameter den jahlives genannt hat (--whole-file) auch bei externer Verbindung gesetzt ist. Größe des Zielordners war Gestern noch größer als heute nach dem Abruch. Es ginge aber auch anders, beispielsweise mit partial oder partial-dir. Und das bringt mich auch zu einer Frage ist der Aufruf von rsync und seinen Parametern irgenwie beeinflußbar? Hat hier jemand schon etwas finden können?

Ich habe nämlich auf Grund der sehr mässigen Performance der Synology eigenen Lösung auch den Eindruck als wenn hier auch die Bandbreite von rsync arg begrenzt wurde.

Gruß Frank

 

[jahlives]

rsync ist eigentlich dafür gemacht die genutzte Bandbreite möglichst klein zu halten. Dafür wird ein höherer Rechenaufwand in Kauf genommen. Der einzige Weg wie man "vorsätzlich" die Bandbreite von rsync einschränken kann wäre über den --bwlimit Parameter beim Aufruf. Legt die maximale Banbreite in KB fest

 

[fpo4711]

rsync ist eigentlich dafür gemacht die genutzte Bandbreite möglichst klein zu halten.

Also optimaler Weise, dann 1 Byte pro Stunde. Ne, Scherz beiseite. Es geht mir ja genau um --bwlimit wo ich vermute das dieser Parameter entgegen der Angaben in der GUI gesetzt ist. Manuell aufgesetzte Installationen von rsync schaffen ein Vielfaches der Leistung von Synology unter annähernd gleichen Bedingungen weshalb ich hier gern die Parameter mit denen die Synology-Lösung läuft einsehen würde.

Gruß Frank

 

[fpo4711]

Hab mir mal kurz die Prozessliste angeschaut. Hier die wichtigsten Parameter

rsync --timeout=600 -rlptgo -H -W --delete --syno-auth --syno-acl --syno-pseudo-root --numeric-ids

Also definitv -W leider aber keine Begrenzung der Bandbreite und auch keine Erklärung warum nun im Vergleich so schlecht. Irgendwelche anderen Möglichkeiten? Die DS lanweilt sich während des Synclaufs. Weder Speicher noch CPU oder entscheidender Netzwerkverkehr.

Gruß Frank

 

[jahlives]

sind das alle Parameter welche ps hergibt? -rlptgo könnte man auch mit -a abkürzen
Ich würde mal folgendes probieren: den rsync im DSM anwerfen, dann den Command gemäss ps kopieren und den rsync Job stoppen. Dann paste und ggf noch -v oder --progress mitreinnehmen und abdrücken. Ist der schneller wenn du ihn direkt auf der CLI aufrufst?

 

[fpo4711]

sind das alle Parameter welche ps hergibt?

Nein, hintendran waren natürlich noch der Zielpfad, Passwortdatei und Excludes. Aber Du hast mich auf eine Idee gebracht. Muß das mal testen. Nur das daauert

Bis dann
Frank