Rsync + Strato = kein Resume, sondern weiter Upload

[stevil]

Hallo zusammen,

ich habe mir bei Strato im März das Cebit Special bestellt und 100GB Online Speicher für 1€ bekommen, funktioniert bekannter maßen mit WebDav, FTP und Rsync.

Ich habe mich für Rsync entschieden, da es hier eine Resume Funktion gibt und es schon ein Standard Feature in der Datensicherung der DS ist.

Soweit habe ich den Job auch eingerichtet:
- Rsync mit SSL
- Modul ist entsprechend der Speicherort
- lokales DS Verzeichnis ist 27GB groß
- Datenkomprimierung aktiv
- Sicherung in Datenblöcken aktiv

Jede Nacht um 04Uhr ist Reconnect von meinem ADSL Router, morgens vor Arbeitsbeginn starte ich den Rsync neu, weil er ja durch den Reconnect abgebrochen ist (schade, das es hier schon keinen Rsync Neustart gibt...).

Problem an der ganzen Sache:
- lokaler Ordner ist wie beschrieben 27GB groß
- hochgeladen wird mir aber bereits 28GB angezeigt
- bei jedem Neustart des Rsync Jobs werden mir die vollen 27GB zum Upload angezeigt

Ist hier mal ein Ende in Sicht? Hab so das Gefühl, dass der Onlinespeicher eine falsche Anzeige hat, da zwar Ordner schon angelegt sind, diese aber leer angezeigt werden. Duplikate oder Kopien werden nicht vom Rsync angelegt, soweit stimmt das schon.

Habt ihr da Informationen? Danke für eure Zeit!

Gruss, Stevil

 

[itari]

Ich würde erstmal mit etwas weniger Daten probieren, ob es überhaupt geht (max 0.5 GB). Es kann ja sein, dass der Job immer ins Nirwana geht und du einfach nichts davon mitbekommst. Was hast für eine Upload-Speed?

Itari

 

[stevil]

Potentiell funktioniert es ja. Hab zB. mal ein 700MB Video hochgeladen per Rsync und das wieder runtergeladen. Kein Problem.

Upload schwankt zwischen 500-900KB/s, ADSL eben...


P.S.: Und ich hab gerade mal ein Ticket bei Strato aufgemacht. Kostet ja nix und vielleicht ist der Fehler offensichtlich...

 

[itari]

Kannst ja mal die Zeit hochrechnen und 1 GB genau uploaden ... und dann noch einmal dasselbe, um herauszubekommen, wie lang ein 'leerer' Dateivergleich dauert (also wie lang der rsync braucht, um festzustellen, dass sich nichts geändert hat). Damit kannst dann abschätzen, wie lange (und wie oft) du einen rsync machen musst, bevor deine Daten komplett bei Strato sind.

500-900KBit/s oder 500-900KByte/s wäre jetzt noch die Frage ... da wäre grob der Faktor 10 dazwischen ...

Itari

 

[stevil]

Die Antwort von Strato:

...

vielen Dank für Ihre Anfrage, die ich Ihnen gerne beantworte.

Leider kann ich Ihnen bei diesem Problem nicht weiterhelfen.

Rsync beherrscht sehr viele Parameter zur Synchronisierung und die Einstellungen des DS211j ebenfalls.

Bitte wenden Sie sich daher direkt an Synology um den Fehler einzugrenzen oder zu beheben.

Mittlerweile waren 28,8GB hochgeladen. Dann war der RSYNC auf einmal fertig und nun erstellt er Metadaten, die wohl auch eine ganze Weile brauchen.

Heißt für mich: Rsync funktioniert, braucht aber etwas mehr Onlinespeicher, wohl wegen Metadaten, Log Dateien oder sonstwas.


Sofern dann erledigt, danke für eure Mühen!

 

[ueffchen]

Hallo Stevil

Problem gelöst. nur ein paar Kommentare von mir.

Diese Metadaten haben sich mit DSM 3.1 eingeschlichen. Die kosten wohl zusätzlich zu den eigentlichen Daten noch viel Zeit, lassen sich aber angeblich abstellen.

Deine Uploadgeschwindigkeit scheint mir sehr hoch. 500-900KByte sind runde 6 MBit ( x8 eben), das hätten andere gerne als Download ;-). Das dürfte bei ADSL nicht gehen. Ich denke Du hast tatsächlich nur 500-900kBit = runde 80 KByte. Da brauchen 28GByte halt Ihre Zeit, ungefähr 100 Stunden wenn ich richtig liege (bei 80KByte).

Deine Reconnects sollten nicht das Problem sein, Du musst nur mal rauskriegen, wann die sind und dann den Backupjob kurz nachher starten. In der Regel verschieben sich die Reconnects doch nicht, oder?

Problematisch wäre nur, wenn Du eine 28GByte Datei hochlädst... dann müsstet Du den Blockmodus von rsync benutzen, aber das wäre auch dann wieder problematisch bei Downloads...

Gruss, ueffchen

 

[stevil]

Mit den Metadaten hab ich eben auch was gelesen, hab dann ein Update auf die aktuellste Firmware gemacht. Da konnt ich Metadaten upload abwählen und bums war das Backup durch.

Upload, klar, vertippt/nicht aufgepaßt, es sind Kbit .

Zeit ist mir so gesehen Wurst, ist ja eh schon alles doppelt abgelegt auf der DS211j per internem Backup.

Reconnect war DER TIPP den ich brauchte. In der FritzBox den Internet Reconnect auf 1-2 Uhr Nachts gestellt, den Rync auf 02.10Uhr geändert und nun muss ich das Ding morgens nicht mal neu starten. Klasse!

Ich lad nur tausende einzelner Dateien hoch wie MP3, DOC, PDF usw...da ist nix großes bei. Wenn es mal dicke Filme werden, klar, geh ich auf Blockmodus.


Gruss, Stevil