Hyper Backup rsync Kopie und Ordnerstruktur

[Furchensumpf]

Nabend zusammen,

ich habe gerade mal rsync über Hyper Backup ausprobiert - nachdem ich den Tipp von wegen "/home/" gefunden kam sogar sofort eine Verbindung zustande...^^

Generell hat alles gut geklappt, die Daten wurden anstandslos gesichert. Was mich dabei aber jetzt mal richtig nervt ist, dass die App mir im Grunde vorschreibt, wie meine Ordnerstruktur im Backup zu sein hat. Ich habe auf meiner DS218+ einen freigegebenen Ordner "Backup", in dem Backups der ganzen Familie gespeichert sind - in den jeweiligen Namensordnern. Darunter dann noch mal eine Unterteilung in den jeweiligen Backups - also Dokumente, Diverse Backups, Bilder ect. Diese Ordnung soll auch im Backup auf der Storage Box umgesetzt werden - was aber nicht funktioniert.

Ich wollte dann für jeden Backup-Ordner einen eigenen Auftrag erstellen - einfach damit ich im Falle eines Falles das Backup auch manuell anstoßen kann und nicht zig Ordner vorher noch abgearbeitet werden müssen, in denen aber nichts neues vorhanden ist. Bei der Erstellung eines Auftrages soll ich dann zuerst einen Ordner auf dem Zielgerät, also in meinem Fall auf der Storage Box von Hetzner, angeben - meine Backups werden dort im Ordner "Backups" gespeichert - da auf dem "Laufwerk" später auch andere Dateien gespeichert werden sollen und ich daher eine direkt ersichtliche Ordnung haben wollte. Den genannten Ordner kann ich aber nicht angeben, weil die DS meint, dass dieser Ordner schon in Verwendung ist - klar, weil dort ja auch andere Backups schon gespeichert sind. Wenn ich jetzt einen anderen Ordner nehme wird aber die gewünschte weitere Ordnung nicht eingehalten.

Vor allem wird dabei der komplette Pfad des fregegebenen Ordners beibehalten - Backups (Name des freigegebenen Ordners) --> Nutzername (Ordner) --> Ordner des jeweiligen Backups

In meinem Fall wäre das:

Backups --> Frederic --> Dokumente
Backups --> Frederic --> Musik

usw...

das wäre ja kein Problem, würde das so für alle Backups gleich gemacht werden. Ich muss aber in jedem Auftrag aber einen neuen Ordnernamen angeben, der noch nicht vorhanden sein darf. Das würde in dem Fall bedeuten

Dokumente --> Backups --> Frederic --> Dokumente
Musik --> Backups --> Frederic --> Musik

Was soll das denn bitte? Gerade wenn man bedenkt, wenn 3 oder 4 Leute hier ihre Backups sichern wird das einfach unübersichtlich.

Ich hoffe ihr konntet meinen Ausführungen folgen und daher meine Frage: Gibt es evt. eine Möglichkeit das hinzubiegen? Oder hab ich irgendwas falsch gemacht? Denn so ist es für mich nicht zu gebrauchen...

Besten dank schon mal

Frederic

 

[ottosykora]

kann das nicht genau nachvollziehen

wir haben diverse DS die machen täglich backup via rsync auf einen zentralen Server, dort gibt es einen Backup Ordner und drin wird für jede DS ein Ordner angelegt und drin landen dann die Ordner welche im Auftrag stehen.

 

[Furchensumpf]

Hier wäre die Frage, ob die alle jeweils nur einen Auftrag haben - dann fällt das sicherlich nicht auf. Ich denke hier ist das "Problem" darin zu finden, dass ich mehrere Aufträge für die einzelnen Ordner habe...

 

[luddi]

Was mich dabei aber jetzt mal richtig nervt ist, dass die App mir im Grunde vorschreibt, wie meine Ordnerstruktur im Backup zu sein hat.

Ich glaube das verstehe ich auch nicht. Und auch der Rest deiner Beschreibung kann ich überhaupt nicht folgen...
Wenn ich so etwas lese habe ich nur im Kopf.

 

[ottosykora]

nein, das machen wir nicht und ich wüsste auch nicht wozu

Wenn man etwas mehrfach backupen will, dann muss muss es klar in unterschiedliche Zeile gehen, sonst würde sich da was überschreiben und da sorgt Hyperbackup schon sehr gut dafür dass die nicht möglich ist

 

[Furchensumpf]

Ich mache ja nicht Backups mehrfach, sondern quasi für jeden Ordner einen eigenen "Auftrag". Den Grund habe ich ja oben beschrieben, damit auch mal schnell etwas manuell gesichert werden kann. Darüber hinaus hat es auch was mit den ersten Sicherungen zu tun - hier müssten rund 3 TB gesichert werden - bei 40 Mbit Upload würde das einige Zeit dauern. Mit mehreren Aufträgen kann ich die Auslastung ein wenig steuern - kleinere Ordner zwischendurch, die großen über Nacht - bis die Erstsicherungen alle durch sind. Bei einem Ordner mit 250 GB hängt das System jetzt schon fast 24 Stunden drann.

@luddi
Was ist daran so schwierig? ;-) Ich will die Ordnerstruktur von meiner DS übernehmen und rsync will das nicht...^^

 

[luddi]

Was ist daran so schwierig? ;-) Ich will die Ordnerstruktur auf meiner DS beibehalten und rsync will das nicht...^^

Ja sorry aber genau das verstehe ich nicht!

Ein Backup ist doch dafür zuständig Daten von einer angegebenen Quelle an einem definierten Ziel zu sichern.
rsync macht hier überhaupt nichts an den Quelldateien bzw. wird dir sicher nicht deine Ordnerstruktur am Ziel zerstören. Das macht überhaupt kein Sinn und ist mir auch nicht bekannt dass rsnyc so etwas macht.

Also bei einem Backup durch rsync werden die Dateien am Ziel exakt so aufzufinden sein wie in dem Quellverzeichnis. rsync behält die Struktur 1:1 bei.

 

[ottosykora]

wie schon erwähnt, das hat nichts mit rsync zu tun
Es ist einfach ***sehr*** wichtig, dass ähnliches nicht einen Ordner geschrieben werden kann. Das ist kein Fehler, das ist das ultimative Ziel. Da musst du halt deine Backup Strategie entsprechend anpassen.
Es können nun mal nicht mehrere Tasks in das gleiche Ziel schreiben.

Wir machen auch so ein Backup, von mehreren DS weltweit. Bis jetzt haben wir nie Probleme gehabt mit Ordnerstruktur oder so was

 

[Furchensumpf]

Ich habe ja auch nicht das Gegenteil behauptet - rsync nimmer aber auch die 3 übergeordneten Ordner mit rein - die ich aber nicht haben möchte - quasi den kompletten Pfad.

Wenn ich die Sachen mittels Cobian von meiner DS auf eine externe Festplatte sichere, landen alle Backups im generellen Überordner "Backups". Wenn ich Cobian jetzt sage, er soll den Ordner "Domkumente" in den Ordner "Backups" auf der HDD sichern, dann habe ich danach

"Backups / Dokumente"
"Backups / Bilder"
"Backups / Musik".

Wenn ich rsync das jetzt sagen würde, würde das bei rauskommen:

"Dokumente / Backups / Frederic / Dokumente"
"Bilder / Backups / Frederic / Bilder"
"Musik / Backups / Frederic / Musik"

Ersteres ist der Name des Auftrags, den ich ja angeben muss und den rsync so mit reinbringt und daher schon die Struktur ändert. Jetzt stell Dir das Chaos aber mal bei 3-4 Nutzer vor.

Das Problem liegt eben daran, dass rsync den Auftragsnamen als eigenen Ordner anlegt - würde er das nicht machen, wäre das ganze kein Problem...dann hätte ich zwar den einen oder anderen root-Ordner übernommen, den ich nicht brauche, aber darunter würde alles stimmen.

@ottosykora
Sie schreiben ja nicht in das gleiche "Ziel", sondern der letzte Ordner ist ja eben immer unterschiedlich. Es ist theoretisch ja kein Unterschied, ob ich mit einem Auftrag 20 Ordner abfrage oder sichere, oder ob ich dafür 20 einzelne Aufträge mache, die die gleichen Ordner sichern - mal ganz übertrieben dargestellt.

Auftrag 1
Ordner A --> Cloud Ordner A
Ordner B --> Cloud Ordner B
Ordner C --> Cloud Ordner C
Ordner D --> Cloud Ordner D
Ordner E --> Cloud Ordner E

oder

Auftrag 1
Ordner A --> Cloud Ordner A

Auftrag 2
Ordner B --> Cloud Ordner B

Auftrag 3
Ordner C --> Cloud Ordner C

Auftrag 4
Ordner D --> Cloud Ordner D

Auftrag 5
Ordner E --> Cloud Ordner E

 

[ottosykora]

so was kenne ich nicht
Wir haben einen Ordner backup
drin hat jede DS einen Ordner
in diesem Ordner dann landen die jeweiligen Ordner aus den Tasks

und das funktioniert zuverlässig

 

[Furchensumpf]

Das will ich ja gar nicht absprechen.

Ich habe aber Ordner, die nicht ständig gesichert werden müssen, weil nicht täglich Dateien hinzukommen. Die würden dennoch jedes mal abgearbeitet werden. Wenn man da nur ein paar Dateien hat, geht das schnell...bei 3 TB wie bei mir wäre die DS bei der Erstsicherung fast 2 Wochen dauerbeschäftigt - und ich hätte bei der Nutzung Einschränkungen. Auch das muss ich ein wenig in Bahnen lenken.

 

[luddi]

und den rsync so mit reinbringt und daher schon die Struktur ändert.

Also mein Lieber... ich versuche es mal das Rätsel aufzulösen.
Und bitte verwende hier nicht mehr den Wortlaut rsync verändert die Struktur. Das liegt allein an den Möglichkeiten die hier Hyperbackup und Hetzner liefert.

Wenn man unter Hyper Backup "rsync" auf einem entfernten Server wählt dann passiert folgendes.
Es wird erwartet, dass auf dem entfernten Server ein rsync daemon läuft mit einem vorhandenen Backup Modul.


Somit muss auf dem entfernten Server eine entsprechende rsyncd.conf Datei vorhanden sein welche z.B. das Backup Modul definiert.

rsyncd.conf(5) manpage: The rsyncd.conf file controls authentication, access, logging and available modules.

In diesem Fall sieht es ganz danach aus, als hätte Hetzner per default ein Backup Modul angelegt welches auf das home Verzeichnis verweist und man somit als Ziel nur und ausschließlich allein /home als Backup Modul wählen kann.

Hyper Backup bietet jetzt zusätzlich die Möglichkeit an ein separates Verzeichnis unter dem Backup Modul anzulegen. Siehe Scrrenshot.



Du kannst jetzt wie hier angegeben ein Verzeichnis erstellen welches direkt unter /home angelegt wird.
Das heißt das Zielverzeichnis für den Backup Task A wäre somit /home/verzeichnis_task_A.

Was du möchtest, aber leider nicht funktionieren wird ist folgendes:
/home/Backups/verzeichnis_task_A

Das ist leider der Konfiguration des rsync daemon geschultet. Wenn du deine Backups unter /home/Backups ablegen möchtest dann müsste in der rsyncd.conf ein entsprechendes Backup Modul mit dem Pfad dafür erstellt werden.

Dieses Verhalten liegt weder an rsync selbst noch an Hyper Backup. Wenn du hier eine andere Konfiguration möchtest, bzw. diese selbst administrieren möchtest dann solltest du dich an Hetzner wenden.

 

[luddi]

Wenn man da nur ein paar Dateien hat, geht das schnell...bei 3 TB wie bei mir wäre die DS bei der Erstsicherung fast 2 Wochen dauerbeschäftigt

Ich glaube du verstehst rsync nicht...

Selbst wenn du einen einzigen Backup Task anlegen solltest dessen Quelle 3TB beinhaltet, wird nur das allererste initiale Backup lange dauern. Alles zusätzliche was dazu kommt, wird inkrementell hinzugefügt. Also wird nur das Delta übertragen.

 

[luddi]

@Furchensumpf jetzt habe ich das bei mir einmal nachgestellt und glaube jetzt zu verstehen was dein Problem ist und deine ständige Erläuterung dass rsync dir die Verzeichnisstruktur kaputt macht.

Die Konfiguration der Quelle sieht wie folgt aus:



Am Ziel sieht es dann so aus:



Aber dieses Verhalten hat weiterhin nichts direkt mit rsync zu tun, sondern eher die Umsetzung in Hyper Backup.
Dokumente liegt eben in einem Freigabeverzeichnis, und ab dieser Wurzel werden dann alles Unterverzeichnisse als Struktur bis auf die Ebene Dokumente mit gesichert. Da darfst du dich aber gern bei Synology bedanken für diese glorreiche Implementierung.

 

[Furchensumpf]

OK, dann habe ich mich doch noch einigermaßen ausdrücken können. Das nur die erste Sicherung so lange dauert war mir ja klar, deswegen habe ich ja auch von der "Erstsicherung" gesprochen.

Ich verstehe auch den Gedanken hinter der Sache, also das alle Ordner auf der DS übernommen werden - so kann bei einem Problem schnell alles wieder zurückgespielt werden - aber warum muss dass System dann noch den Namen des Auftrages mit als Hauptordner einfügen? Das ist ja im Grunde das eigentliche Problem - mit dem anderen könnte ich leben.

Dann muss ich doch bei Cobian bleiben und es von meinem Rechner aus machen. Wäre eben "charmanter" gewesen, dass direkt von der DS aus zu machen.

Danke für die Mühe!

 

[luddi]

Und was ist wenn du anstelle von Hyper Backup, rsync direkt aus der Kommandozeile verwendest? Damit kannst du dann ganz gezielt die Quelle und das Ziel auswählen. Solltest mal enrsthaft drüber nachdenken und ist vermutlich die einfachste lösung.

Oder wie gesagt wenn du ein Tool mit GUI möchtest einfach mal das Tool von @Tommes anschauen, könnte sogar das machen was du möchtest.

 

[luddi]

@Furchensumpf Ich habe das Basic Backup Tool einmal für dich in meiner VM ausprobiert ob dies deine Zwecke erfüllt.

Dabei habe ich für die Task die Versionierung ausgeschaltet.
So sieht die Konfiguration der Quellverzeichnisse aus:



Zur Sicherung habe ich von der Quelle zwei Verzeichnisse ausgewählt wie im Bild zu sehen ist.

Auf dem Zielserver sieht die Verzeichnisstruktur nun wie folgt aus mit Angabe vom Unterverzeichnis "Backups":


Darin befinden sich nun allein die von der Quelle gewählten Verzeichnisse plus ein Verzeichnis "@configs" welche die Konfiguration der Task selbst als Backup beinhaltet.

Das sieht für mich schon nach deinem gewünschten Verhalten aus oder?
Bis auf das "@configs" Verzeichnis, welches vermutlich nicht wirklich stören sollte.

Aber wenn du bei @Tommes ganz lieb nach einem Feature Request in seinem Beitrag anfragst kann ich mir vorstellen, dass er das als Option einbaut dies zu deaktivieren. Oder ich frag gleich selbst bei ihm an

 

[Tommes]

Hi!

Wie @luddi es bereits bildlich vorgeführt hat, benötigt Basic Backup neben einen "freigegebenen Ordner", nur noch einen "Zielordner" oder besser, ein "Zielverzeichnis". Ich habe es selber zwar noch nicht getestet, aber theoretisch sollte folgendes funktioneren...

Freigegebenener Ordner: Backup
Zielverzeichnis: Frederic

Auftrag 1
Quelle: /Frederic/Bilder --> Ziel: /Backup/Frederic/Bilder

Auftrag 2
Quelle: /Frederic/Dokumente --> Ziel: /Backup/Frederic/Dokumente

Auftrag 3
Quelle: /Weiterer_Benutzer/Bilder --> Ziel: /Backup/Weiterer_Benutzer/Bilder

Auftrag 4
Quelle: /Weiterer_Benutzer/Dokumente --> Ziel: /Backup/Weiterer_Benutzer/Dokumente

... theoretisch! Und das dann auch nur, wenn keine Versionen der gesicherten Daten vorgehalten werden sollen. Ich persönlich halte das zwar für keine gute Lösung und teilweise sogar für gefährlich, aber das war ja nicht die Frage.

Bezüglich der Ordners @configs habe ich hier etwas zu geschrieben.

Tommes

NACHTRAG: Handelt es sich bei dem Datensicherungsziel nicht um ein Synolgy NAS System, dann gibt es i.d.R. gar keinen Zwang, einen Freigegebenen Ordner vor dem Zielverzeichnis anzugeben, sondern kann ggf. direkt in einen gewünschten Ordner sichern. Die Angabe eines Zielverzeichnises ist in jedem Falle erforderlich, also z.B. /home oder auch /home/Frederic