Mit rsync Daten vom PC auf DS209+ sichern ?

[Rumtreiber]

Hallo allerseits,

Ich habe auf meiner DS mit IPKG rsync installiert. Im AdminTool wird unter Funktion/Recovery&Backup rsync auch als installiert angezeigt.

Mein Ziel ist es, die auf meinem PC (OS: Win 7 64-bit) in D:\Musik\Flac liegenden Dateien (ca. 1TB) auf meiner DS unter \\DISKSTATION\music zu spiegeln. Quelle ist also mein PC. Sowohl der PC, als auch die DS hängen an einem Rooter. Die Daten auf DS sollen mit denen auf dem PC identisch sein. Den Job möchte ich manuell ausführen, da DS nicht immer läuft, also je nach Bedarf, wenn sich auf meinem PC etwas verändert hat.

1) Was muß ich auf meinem PC installieren? Muß ich überhaupt was instalieren?

2) Wie muß ich rsync auf der DS konfigurieren, damit der Datentransfer so erfolgt, wie gewünscht?

Bitte könnte mir jemand in groben Schritten erklären, was ich zu tun habe?


Martin

 

[Alfamat]

Hi,

warum nutzt Du nicht einfach Programme für den PC wie "Totalcommander", "AllwaysSync" oder "PureSync" ? Ich benutze den TC und PureSync je nach Belieben für solche Aufgaben, da ist es egal was auf der DS läuft wenn Du eh alles manuell machen möchtest. Natürlich muss dann der Ordner "Music" der DS als Netshare auf dem PC gemappt sein.

 

[Rumtreiber]

Hallo Alfamat,

erst mal vielen Dank für Deine Antwort! Deine Frage ist natürlich berechtigt. Nun, man sagt rsync ja nach, daß diese Art des Backups erkennt, daß nur ein *Teil* einer Datei verändert wurde und dann auch nur den veränderten Teil, also z.B nur 0,00001% der Datei backupt. Wenn das zutrifft, dann hat das für die Sicherung großer Musikarchive erhebliche Vorteile. Diese Vorteile sind in diesem Artikel – allerding in Englisch – sehr anschaulich dargestellt:

Backup

Music collections can be very large in size especially if you use a lossless format.
Each time you edit a tag or the player software writes something in a tag (replay gain, playcount, etc) the whole file qualifies for backup as any write action will change the date last modified.
Rsync

Rsync works a bit different.

It check which part of the file has changed, only the changed parts are transferred to the computer containing the copy.
In case of tagging, this is the header of the audio file only.

This is a very efficient way to backup music files from one computer to another over a network.

You can use it to do remote replication over the internet even if you don’t have a fast connection.

Backup

Hier der Link zur Seite.

Die Argumente haben mich total überzeugt und das ist der Grund, warum ich rsync zum Laufen bringen will.


Gruß



Martin

 

[effmue]

Guude,

in der deutschen Wikipedia ist das auch sehr anschaulich erklärt.
Die dort aufgeführten Weblinks oder Tante Gurgel sollten dir auch weiterhelfen

...und achja: Versuch macht kluch.....

Mir wäre persönlich aber der Installations-Aufwand in Relation zur Datenmenge zu gross.
(.....und so wirklich trauen würde ich dem Ganzen auch nicht....)

Ich nutze da lieber:
robocopy Quelle Ziel /MIR

 

[Alfamat]

Sicherlich hat das auch seine Vorteile. Spart sogar Bandbreite wenn man übers WAN synct. Leider ist das aber mit einem nicht unerheblichen Rechenleistungsaufwand für die DS verbunden, was wiederum den zeitlichen "Gewinn" aus Übertragungsgründen (im LAN) wieder auffrißt. Im WAN gehe ich da mit. Aber da mache ich lieber manuelle Syncs wie oben gepostet. Zumal ja eh alle meine Musik auf der DS liegt und nur wenige Dateien / Ordner vom PC aus ersetzt / abgeglichen werden müssen. Das ist bei mir in anderen Ordnern der DS der Fall (Arbeitsordner für verschiedene User), aber da klappt das bisher prima und da nutze ich Rsync nicht. Das läuft nur untereinander der beiden DS per Ordnersynchronisation aus Backupgründen.

 

[Rumtreiber]

Hallo Alfamat, hallo effmue,

erst mal vielen Dank, daß Ihr Euch für mein Problem interessiert und mir hoffentlich weiter helft!

Ich fasse mal zusammen: Ihr haltet die Idee nicht für sinnvoll, da die Umsetzung auf meinem System bezügl. Aufwand/Nutzen in keinem guten Verhältnis steht. Richtig?

Was wäre denn dann eine sinnvolle Alternative?

effmue schlägt robocopy Quelle Ziel /MIR vor. Kann denn robocopy Dateien so syncronisieren, daß nur die veränderten *Teile* der Dateien neu geschrieben werden?

Wenn das robocopy nicht kann, dann könnte ich ja auch bei meinem derzeitigen Programm, nämlich SyncBackSE bleiben. Das hatte ich mir für diesen Job extra gekauft und bislang benutzt. Aber halt mit den beschriebenen Nachteilen.

Die Idee mit rsync fand ich einfach bestechend. Wenn ich z.B. in meine Musiksammlung auf meinem PC einen neuen Tag einfügen wollte (neben Genre zusätzlich Mood) dann schreibt foobar2000 (ist mein Player) den Tag relativ rasch in die 1 TB files hinein. Wenn ich dann aber mit SyncBackSE auf meine DS syncronisieren würde, dann müßten 1 TB an Daten auf der DS neu geschrieben werden! Das dauert ca. acht Stunden!

Wie würdet Ihr denn an meiner Stelle vorgehen?


Gruß


Martin

 

[itari]

Hallo allerseits,

Ich habe auf meiner DS mit IPKG rsync installiert. Im AdminTool wird unter Funktion/Recovery&Backup rsync auch als installiert angezeigt.

Mein Ziel ist es, die auf meinem PC (OS: Win 7 64-bit) in D:\Musik\Flac liegenden Dateien (ca. 1TB) auf meiner DS unter \\DISKSTATION\music zu spiegeln. Quelle ist also mein PC. Sowohl der PC, als auch die DS hängen an einem Rooter. Die Daten auf DS sollen mit denen auf dem PC identisch sein. Den Job möchte ich manuell ausführen, da DS nicht immer läuft, also je nach Bedarf, wenn sich auf meinem PC etwas verändert hat.

1) Was muß ich auf meinem PC installieren? Muß ich überhaupt was instalieren?

2) Wie muß ich rsync auf der DS konfigurieren, damit der Datentransfer so erfolgt, wie gewünscht?

Bitte könnte mir jemand in groben Schritten erklären, was ich zu tun habe?


Martin

rsync ist auf der DS vorinstalliert, d.h. man muss da gar nicht per IPKG was installieren - aber es ist auch nicht schlimm, wenn man 2 rsyncs hat (kannst ihn aber trotzdem wieder deinstallieren).

Auf dem PC ist wohl deltacopy (http://www.aboutmyip.com/AboutMyXApp/DeltaCopy.jsp) das ultimative rsync-Teil. Auf der DS muss dann nur der rsync-Dienst (Daemon - Netzwerksicherungsdienst) laufen, dann kannst den Rest über Deltacopy abwickeln. Hierzu gab es auch schon den ein aoder anderen Beitrag im Forum.

rsync arbeitet immer nur in einer Richtung (jaja, syncen ist eigentlich nicht automatisch wechselseitig, auch wenn die meisten das so verstehen); deswegen muss man dann 2 Mal den rsycn laufen lassen; für jede Richtung. Besser ist allerdings ein Konzept, was nur einseitig ist, weil man dann Sync-Konflikte vermeidet.

Itari

 

[Rumtreiber]

Guten Abend,

also ich haben nach langem Probieren Deltacopy tatsächlich zum Laufen gebracht! Allerdings werden die Files in den Ordner NetBackup geschrieben.

1 ) Wie kann ich es erreichen, daß die Files in "music" landen? Das ist wegen des Medienservers wichtig. Ich habe hier etwas unter "Konfiguration" gefunden. Danach müßte noch ein Modul angelegt werden. Trifft das zu und was schreibe ich da rein?

2) Du schreibst:

rsync arbeitet immer nur in einer Richtung (jaja, syncen ist eigentlich nicht automatisch wechselseitig, auch wenn die meisten das so verstehen); deswegen muss man dann 2 Mal den rsycn laufen lassen; für jede Richtung. Besser ist allerdings ein Konzept, was nur einseitig ist, weil man dann Sync-Konflikte vermeidet.

Das verstehe ich nicht ganz. Ich will doch nur, daß die Daten, die auf meinem PC liegen, auf die DS gespiegelt werden. Eine Datei, die auf meinem PC gelöscht wurde, soll auf der DS ebenfalls gelöscht werden, eine hinzugefügte auf der DS ebenfalls hinzugefügt werden. Warum denn dann 2 Mal?


Gruß & gute Nacht


Martin

 

[itari]

zu 1) Ja man kann andere, weitere Module anlegen (rsyncd.conf)

zu 2) dann eben nicht ein 2. Mal

Itari

 

[Rumtreiber]

Hallo Itari,

könntest Du mir vielleicht dabei helfen das entsprechende Modul anzulegen? Ein einfaches Beispiel (siehe Link oben) sähe danach so aus:

[MODULE_NAME]
path = /volume1/PATH/FOLDER
read only = no
hosts allow = 192.168.35.32
hosts deny = *

Wenn ich das jetzt anpassen würde, damit die Dateien in "music" und nicht in "NetBackup" reingeschrieben werden dann käme ich zu diesem Ergebnis:

[MODULE_music]
path = /volume1/music
read only = no
hosts allow = 192.168.2.103
hosts deny = *

Würde das so stimmen (habe die IP meiner DS eingefügt)?

Und wenn ja, ist dieser Text dann einfach am Ende der Datei "/opt/etc/rsyncd.conf" hinein zu kopieren und dann abzuspeichern?

Ach ja, und noch was: bei meinen bisherigen Versuchen wurden verschiedene Ordnernamen falsch geschrieben (z.B. Ry Cooder & Manuel Galbán, Paco De Lucía, Mory Kanté oder Nils Wülker) ! Wie kann ich das korrigieren?


Gruß


Martin

 

[itari]

Hi Martin,

probiere doch testhalber aus mit einem 'gemeinsamen Ordner' /volume1/music1 ... ich kann aus der Ferne nicht wirklich abschätzen, ob da noch irgendwo der Wurm drinne ist. Aber es sieht erstmal gut aus.

2 Manual-Seite für alle Fälle: http://linux.die.net/man/5/rsyncd.conf und http://linux.die.net/man/1/rsync

Die Codeumwandlung wegen der Dateinamen kann man wohl auch hinbekommen: http://www.planet3dnow.de/vbulletin/showthread.php?t=341490

Itari

 

[Rumtreiber]

@ itari,

ich kann es nicht fassen - aber ich habe es geschafft!!! Bis in die einzelnen Details! Das größte Hindernis war das vorinstallierte rsync! Hier die Schritte:

1) Netzwerk-Sicherung>Netzwerk-Sicherungsdienst>aktivieren, aber nur den Synology-Sicherungsmodus, nicht den Rsync-Sicherungsmodus!!!
2) ipkg>rsync installieren
3) dann wie hier beschrieben weitermachen, aber modifiziert, denn mit Deltacopy kann man wichtige Einstellungen über die Programmoberfläche selbst vornehmen! Man muß lediglich den Ordner "/opt/etc/rsyncd.conf" öffnen und dort ein paar kleinere Einträge vornehmen. Bei mir sah der Ordner danach so aus:

# rsyncd.conf
#
# configure according to your needs

uid =root
gid =admin
use chroot = yes
max connections = 5
syslog facility = local3
pid file = /var/run/rsyncd.pid
secrets file = /opt/etc/rsyncd.secrets
charset = utf-8
hosts allow = 192.168.2.101
hosts deny = *
read only = no
#[backup]
# path = /share/hdd/data/backup
# comment = nslu2 backup
# read only = no
# auth users = harry
# hosts allow = 192.168.10.10
# hosts deny = *

Dann rsync ausführen>sh /opt/etc/init.d/S57rsync

Das war's dann eigentlich schon! Den Rest kann man auf DeltaCopy eintragen. Auf der Server-Konsole ist gar nichts einzutragen! Das hatte ich zwar zuerst gemacht, aber selbst dann, wenn ich dort alle Eintragungen wieder herausnahm, änderte sich nichts! Warum das so ist? Keine Ahnung! Vielleicht weiß itari warum? Die Einstellungen auf der Client-Konsole sind eigentlich selbsterklärend. Beim Anlegen der Profile sind im Reiter>File List die Quellverzeichnise einzutragen, die IP der Diskstation, etc. Unter Options>Connect via SSH nicht aktivieren und unter Authentication User ID und Password (gleiche Angaben wie beim Zugang auf Diskstation) einzutragen. Das war's eigentlich schon.

Klickt man dann im Reiter>File List>virtual Directory das danebenstehende Feld ... kräftig an und wartet einige Sekunden, erscheinen im Drop-down Menü alle! Verzeichnisse der Diskstation und nicht nur NetBackup!

Ach ja, um die korrekte Ordner-Schreibweise hinzukriegen habe ich folgendes gemacht: "rsyncd.con" öffnen und charset = utf-8 eintragen, abspeichern, schließen und dann in DeltaCopy unter>Options>Additional Parameters im Feld --iconv=CP1252,UTF-8 eintragen.

Das war's

Ich kann nicht sagen, das das alles so 100% richtig ist, aber bei mir läuft's. Ich hoffe natürlich, das ab jetzt nur noch die geänderten *Teile* der Dateien neu eingeschrieben werden und vielleicht kann mir noch jemand sagen, wie ich es 100% verhindern kann, daß die Quelldateien nicht angetastet werden (außer restore natürlich!)


Gruß und guten Abend!


Martin