rsync von mehreren Standorten auf eine DS210j

[scottvega]

hallo zusammen

ich habe eine etwas knifflige backupkonstellation:
ich soll von mehreren standorten, die in einem WAN zusammengehängt sind (sprich ein grosses supernet dass dann durch subnetze an den jeweiligen standorten segmentiert ist) zentral auf eine DS210j backups erstellen. soweit so gut. das problem ist, dass ich zum teil an den einzelnen standorten nur gerade mal ne 600 kbit sdsl leitung hab. daher dachte ich mir, dass ich das ganze mit rsync lösen könte. jedoch stehe ich momentan am berg, da rsync mir jedes mal die daten auf der synology vorgängig löscht und dann jedes mal neu hochschiebt, was natürlich ne ewigkeit dauert.
nun kommt aber noch ein erschwerendes problem hinzu: die zu sichernden daten sind dumpfiles von datenbanken welche jeweils das aktuelle datum im dateinamen enthalten und dadurch natürlich nicht mehr ganz gleich sind wie vorher. der inhalt der datei wird natürlich auch immer wieder neu geschrieben, ist aber zum grössten teil logischerweise gleich (db halt..).
gibt es nun eine anständige möglichkeit mittels rsync oder einem ähnlichen tool die daten zu sichern, so dass nur das delta gesendet wird und nicht jedes mal die ganze datei?

gruss

scottvega

 

[jahlives]

afaik sollte rsync bereits delta-Algos mit an Bord haben (http://de.wikipedia.org/wiki/Rsync). Wie sehen denn die Parameter aus mit denen du rsync aufrufst?

 

[scottvega]

hi jahlives

meines wissens auch, aber da ich ein dosen mensch bin und kein linuxianer kann es gut sein dass ich mich mit der commandline vertan habe.

hier meine parameter:
rsync -r -t -v --progress --delete --ignore-existing /cygdrive/d/DB-7TAGESICHERUNG/7/ //XXX.XX.XX.XXX/NetBackup/standort1 >D:\Backuplog.txt

cheers

scottvega

 

[jahlives]

--delete sorgt dafür, dass Files auf der Receiver-Seite gelöscht werden, die auf der Sender-Seite nicht existieren. Da sich die Namen ändern, könnte es sein, dass rsync glaubt erstmal alles beim Receiver löschen zu müssen, da die Files vom Namen her nicht mehr mit der Quelle übereinstimmen.
Auch bin ich nicht so sicher, dass dein --ignore-existing wirklich das ist was du möchtest

http://samba.anu.edu.au/ftp/rsync/rsync.html
--ignore-existing
This tells rsync to skip updating files that already exist on the destination (this does not ignore existing directories, or nothing would get done).

 

[scottvega]

hmm okay, also ich probiers dann mal mit ohne --delete und ohne --ignore-existing mal schaun ob sich was verbessert.
der versuch läuft gerade.

 

[scottvega]

also das ohne --delete hat zwar gebracht, dass er jetzt auf der synology das zeug nicht mehr vorgängig löscht, aber die dateien werden immernoch komplett übertragen. kein rsync meines erachtens. gibt es auf der synology eine möglichkeit zu prüfen ob die daten mittels rsync übertragen werden oder nicht. es kann ja sein, dass der rsync client auf dem pc die daten halt ganz einfach per smb überträgt und der rsync deamon auf der synology gar nicht reagiert oder?

 

[jahlives]

Nein der Backup Job läuft sicherlich über rsync. Aber rsync heisst nicht zwangsläufig, dass mittels Delta-Algo übertragen würde.
Das Problem dürfte bei dir sein, dass sich die Namen der Files (DB Backups) zwar ändern, aber die Inhalte nicht. Damit geht rsync von einer neuen Datei aus und muss diese dann folgerichtig komplett übetragen.
Du solltest deinen DB Backup Job anpassen, so dass die Namen der Files immer gleich bleiben. Dann weiss rsync, dass es sich um dieselbe Datei handelt und kann ggf nur das Delta übertragen.

 

[scottvega]

hmmm.... okay, kann ich zu testzwecken auch nur den dateinamen, der bereits gesicherten datei ändern? kapiert das rsync dann auch?

 

[jahlives]

hmmm.... okay, kann ich zu testzwecken auch nur den dateinamen, der bereits gesicherten datei ändern? kapiert das rsync dann auch?

Da sollte eigentlich auch klappen. Einfach den Namen im Backup auf den aktuellen Namen des Originals anpassen

 

[Chrunchy]

@scottvega, ich habe eine ähnliche Aufgabenstellung gehabt und dazu diverse Tests gemacht.

Ich weiß nicht genau was dein Ziel ist, aber ich kann dir sagen, dass der Backupvorgang vom Zeitaufwand her nahezu identisch ist, egal ob eine Datei komplett übertragen wird, oder ob diese Datei nach Veränderungen durchsucht wird und nur der geänderte teil übermittelt wird. Einzig der Datentransfer ist geringen. Das sorgt für eine Ersparnis im Falle eines Volumentarifs, das Backup wird aber bei beiden Methoden die gleiche Zeit benötigen.

HTH

 

[jahlives]

Das Ziel von Delta-Algo ist es ja auch nicht das Backup schneller erstellen zu können, sondern um Bandbreite zu sparen. Die Berechnung der Differenz könnte sogar länger dauern als das komplette Übertragen der Datei

 

[scottvega]

@jahlives das hab ich gemacht, aber nicht wirklich einen unterschied in der dauer festgestellt. aber dank der nachfolgenden aussage von Chrunchy macht das wiederum sinn.

@chrunchy: danke für deine erklärung! da ich halt nirgends irgendwie was sehe, sondern nur dass er mir auf der synology ein zweites file mit demselben namen erstellt, aber mit einer endung ala DT6AF oder so, hab ich angenommen dass das rsync funktioniert.
aber es ist gut zu wissen, das das backup zwar gleich lange dauert, aber weniger daten übertragen werden. und das ist ja der essentielle teil, da ich ja quasi ein backup vom backup mache spielt es mir keine rolle, wenn das dingens bis in den tag hinein läuft, sofern dann nicht riesige datenmengen übertragen werden. denn tagsüber soll mit der geringen bandbreite gearbeitet werden und nicht durch ein backup ausgebremst.
so und nach dem ganzen text hier noch die antwort auf deine frage was mein ziel ist: ich will die dumps die jeweils in 7 versionen vorliegen off-site nochmals ablegen.

so und zu guter letzt habe ich noch folgendes tool entdeckt. ist das was oder nicht?
http://www.rsync.net/resources/howto/windows_backup_agent.html

 

[jahlives]

so und zu guter letzt habe ich noch folgendes tool entdeckt. ist das was oder nicht?
http://www.rsync.net/resources/howto/windows_backup_agent.html

Das Tool schaut auf jeden Fall interessant aus. Werde das heute abend mal anschauen. Mal gucken ob das Teil mit jedem rsync Server zusammenarbeitet oder nur mit dem Server des Anbieters. Auf jeden Fall danke für den Tipp

 

[scottvega]

Hi Jahlives

konntest du dir das Tool mal ansehen? wie ist deine meinung dazu?

gruss

scottvega

 

[jahlives]

Kann man brauchen

 

[scottvega]

das heisst es tut tuten tun mit ner syno box?
super. ich habs irgendwie ned geschafft das dingens zum funktionieren zu bringen...

ich setz mich da nochmal dran.