[Projekt] rsync -Alternative dateibasierte Datensicherung

[PsychoHH]

Ich hab mit dem Durchsuchen auf der DS noch so meine Probleme, da ja vielleicht auch mal ein Script ausgelöst wird, welches sich noch in der Testphase befindet, oder ein anderes Script welches die gleiche Zeichenkette verwendet.

Du hast Post


Wir können hier ja ein paar Anregungen/Änderungen präsentieren und die bei Bedarf wenn im Wiki nachtragen/ändern.

Eventuell wünscht sich ja auch einer ne Funktion, wenn die Umsetzbar wäre, könnte man das ja auch besprechen.

 

[Tommes]

Für ein neues Realese-Notes reicht es zwar nicht, jedoch habe ich noch einige Änderungen am Wiki-Eintrag vorgenommen.

Und zwar habe ich den Wiki-Eintrag von...

Alternative, dateibasierte (rsync) Datensicherung auf einen angeschlossenen Datenträger

... nach ...

Dateibasierte RSync-Datensicherung auf externen Datenträger oder RSync kompatiblen Server

...umbenannt, da durch die Funktionserweiterung der ursprüngliche Name nicht mehr passte. Alte Verlinkungen auf den Wiki-Eintrag sollten automatisch auf das Neue Wiki umgeleitet werden.

Weiterhin wurde das Wiki so umgeschrieben, das alles über den Benutzer "root" konfiguriert wird. Eine Info, das dies aus Gründen der Signalausgabe sowie DSM-Konfigurationssicherung so ist, habe ich beigefügt. Ebenso eine Kurzanleitung wie man sich unter DSM 5 und 6 auf der Konsole als "root" einloggt.

Weiterhin habe ich unter dem Punkt "Script: search-rsync.sh (Suchscript für die "lokale" Datensicherung)" eine Verlinkung geschaffen, um weitere Variationen der verschiedenen Suchscripte unterzubringen. Weitere Varianten folgen also noch... (muß ich noch mit PsychoHH durchsprechen)

Tommes

 

[petehild]

Cool, danke für die Arbeit!

Das Lustige an der Sache ist, ich hatte mir schon 2011 ein ganz einfaches bash script für rsync Backup-Aufgaben gebastelt und bin erst 2014 zum GUI Backup gewechselt... jetzt halt die Rolle rückwärts (die Dank eurer Arbeit sehr leicht fällt )

 

[Tommes]

Ja ich weiß, ich werd langam lästig, aber PsychoHH hat immer so gute Ideen die einfach umgesetzt und eingefügt werden müssen um das System immer wieder ein Stückchen näher in Richtung Perfektion zu schubsen *lach*

Bevor ich die Realese-Notes raushaue muß ich aber noch etwas in eigener Sache loswerden, was man sich mal auf der Zunge zergehen lassen sollte. Angefangen habe ich mit ein paar Scriptzeilen um Daten dateibasiert auf einen externen USB- oder SATA-Datenträger zu schubsen. Jetzt habe ich grade beim umschreiben des Wikis das hier geschrieben...

Dieses System ist mittlerweile so flexibel Aufgebaut, das Quelle und Ziel einer Datensicherung individuell definiert werden kann. So kann bei einer lokalen Datensicherung zwischen Synology Diskstation und einem angeschlossenen, externen USB- oder SATA-Datenträger sowohl der Datenträger als auch die Synology Diskstation die Quelle als auch das Ziel sein. Auch eine Datensicherung innerhalb einer Synology Diskstation ist möglich z.B. um regelmäßig Daten von /volume1 nach /volume2 zu sichern. Gleiches gilt für die Datensicherung auf eine weitere Synology Diskstation oder einem rsync-kompatiblen Server über eine SSH-Verbindung. Das Ziel der Datensicherung bestimmt immer der Speicherort des Ausführungs-Script, wobei selbst hier noch das Ziel individuell angepasst werden kann.

... wobei ich selber zugeben muß, das mich das ein wenig überwältigt hat. Nein, ich will mich nicht selber loben und will diesen Lob von euch damit auch garnicht einfahren, aber das sich dieses Projekt so gemausert hat.... das ist doch echt "der Hammer" oder? Aber ok, ich quatsch mal wieder zuviel. hier also die...


Realese-Notes (Stand: 31.03.2016)

• Das System ist mittlerweile so flexibel Aufgestellt, das Quelle und Ziel einer Datensicherung individuell definiert werden kann. Aus diesem Grunde mussten abermals Änderungen am Wiki-Eintrag vorgenommen werden und das alles beschreiben zu können.
• Es wurden weitere Funktionen und Abfragen hinzugefügt die prüfen, ob eine SSH-Verbindung erfolgreich hergestellt und ob der gewünschte Quellordner lokalisiert werden konnte um eine Datensicherung durchzuführen. Treten hier Unstimmigkeiten auf, wird eine Fehlermeldung ins Protokoll geleitet. Eine Unstimmigkeit könnte z.B. ein nicht eingehangener verschlüsselter Ordner, ein nicht berechtigter SSH-Benutzer, eine falsche oder fehlende IP-Adresse oder ein einfacher Tippfehler sein.
• Gleiches gilt für die "lokale" Datensicherung. Auch hier wird erstmal über eine Abfrage versucht, den gewünschten Quellordner zu lokalisieren, bevor die Datensicherung durchgeführt wird. Bei Unstimmigkeiten werden auch hier Fehlermeldungen ins Protokoll geleitet.
• Weiterhin wurde die Scriptschreibweise ein wenig angepasst und verbessert um es kompakter aussehen zu lassen.

 

[MMD*]

Dan nochmal Großes danke, wirklich top.

Package..........................jemand?

 

[Tommes]

Ich würde mich freuen, wenn da jemand ein .SDK draus basteln würde. Das würde die Sache für viele hier noch einfacher machen. Der Umgang mit Scripts und Konsole (für den SSH-Zugang) ist ja nicht jedermanns Sache.

Aber wer weiß... vielleicht bastelt ja schon jemand still und heimlich an einem .SDK! So langsam werden die Leute ja wach und merken jetzt erst, wie beschissen es ist, seine Daten nicht mehr dateibasiert sichern zu können.

Tommes

 

[jugi]

Merthos soll lieber sein autorun-Package wieder ans laufen bringen, dann kann man einfach dein script in die autorun-datei schmeißen und fertig

 

[PsychoHH]

Jap darüber denke ich auch die ganze Zeit nach, das wäre perfekt.

Und ja Tommes widmet dem Projekt sehr viel Zeit und setzt dieses perfekt um. Alles wird gut erklärt und ist verständlich. Sehr gute Arbeit

 

[Tommes]

Ich hab noch zwei keine Fehler gefunden, wodurch die Löschfunktion nach x-Tagen für die Ordner /@DSMConfig und /@Recycle gar nicht funktionieren konnte. Ich habe das gleich mal im Wiki geändert. Ein Realese-Note spare ich mir an dieser Stelle, sondern führe die Änderungen hier einfach mal auf.


Einmal hier...
# Dateien im Ordner @Recycle die älter als x Tage sind, löschen.

Alter Scripteintrag
find $TARGET/@Recycle -type d -mtime +$RECYCLE_ROTATE -exec rm -rd {} \;

Neuer Scripteintrag
find $TARGET/@Recycle/* -type d -mtime +$RECYCLE_ROTATE -exec rm -rf {} \;

... und einmal hier...


# Dateien im Ordner @DSMConfig die älter als x Tage sind, löschen.

Alter Scripteintrag
find $TARGET/@DSMConfig -name "*.log" -type f -mtime +$DSMCONFIG_ROTATE -exec rm {} \;

Neuer Scripteintrag
find $TARGET/@DSMConfig -name "*.dss" -type f -mtime +$DSMCONFIG_ROTATE -exec rm {} \;

Jetzt sollte alles passen.

@jugi: Warum Merthos nicht wenigstens ein Statement zu seinem autorun gibt, verstehe ich auch nicht. Würde es unter DSM 6 laufen, wäre das für dieses Projekt hier absolut cool.

@PsychoHH: Was willst du trinken

Tommes

 

[hoddelac]

ich habe jetzt mal versucht von meiner produktiv DS214 auf meine Backup DS112 zu sichern.
das start_rsync.sh hab ich auf der DS112 ins Verzeichnis /volume1/NetBackup kopiert.
und das search Script auf der DS214.
starte ich das search Script auf der ds214, passiert nichts.
das start Script auf der ds112 funktioniert und die Daten werden von der DS214 geholt.

was läuft da schief?
Scripte sind die aktuellen aus dem Wiki

 

[jugi]

Naja er hat ja eigentlich schon gesagt, dass ers für DSM6 anpasst

Ansonsten werde ich für die Beta(s) keine Anpassungen vornehmen, sondern erst wenn die Final da ist.

Ich denk mal da wird in den nächsten Wochen was kommen - hast du ihn mal (via pn) gefragt?

 

[Tommes]

Hi!

Das Search-Script kann nur lokal suchen, sprich auf der DS selber oder auf einen angeschlossenen USB- oder SATA-Datenträger. Da du hier eine SSH-Vebindung aufgebaut hast, müsste das Search-Script ja auch im kompletten LAN nach den Ausführungs-Scripts (start-rsync.sh) suchen. Das geht aber allein deshalb schon nicht, da die SSH-Verbindung laut Wiki erstmal nur in eine Richtung funktioniert, nämlich vom Server Richtung Client, in deinem Fall also von der DS112 Richtung D214. Auch wäre die Suche übers Netzwerk auch ein bisschen zu viel des Guten.

Unabhängig davon ist uns vorhin noch aufgefallen, das die DSM-Konfiguration ja auch nur lokal gesichert werden kann, das bedeutet, das du nicht wie eigentlich gewünscht, eine Sicherung der Konfiguration von deiner DS214 erstellst, sondern von deiner DS112, was natürlich nicht Sinn der Sache ist. Daher würde ich diese Option erstmal ausschalten bis PsychoHH und ich eine Lösung dafür gefunden haben. Sorry schonmal für diesen "dummen" Fehler.

Aber es freut mich natürlich zu hören, das das Script bei dir läuft. Ich hoffe du bist soweit zufieden damit, oder hast du noch Wünsche oder Ideen, was man noch besser machen könnte? Oder vielleicht sogar Kritikpunkte?

@jugi: Dann habe ich dieses Statement von ihm wohl überlesen und nein, ich habe keinen PN Kontakt mit Merthos!

Tommes

 

[hoddelac]

ok das habe ich dann wohl falsch gelesen, es reicht mir persönlich auch wenn ich das script auf der Backup DS starte.

 

[Tommes]

Bei mir läuft das (in Zukunft) so. Meine DS216+ ist das Produktivsystem, die DS115 das Backupsystem.

Für die Datensicherung per SSH-Verbindung starte ich auf der DS115 über den Aufgabenplaner dirket das Ausführungsscript über einen eingestellten Zeitplan, das Such-Script habe ich in diesem Falle weggelassen. Die DS115 fährt dann alle 2 Tage morgens um 5 Uhr hoch, um 5:15 Uhr wird dann das Ausführungsscript über den Aufgabenplaner gestartet und um 7 Uhr geht die DS115 dann wieder aus. Die DS216+ läuft dabei im 24/7 Betrieb

Tommes

 

[PsychoHH]

Ja so ähnlich werde ich das auch machen.
Man könnte dort am Ende des Script ein shutdown der DS machen, falls man doch mal mehr Daten überträgt und die DS nicht bis 7 Uhr fertig ist.

Wenn sich meine vpn Verbindung kurz trennt oder ich eine der Fritzboxen neustarte, läuft das Script weiter und überträgt die Daten weiter wenn die Verbindung wieder steht. Erst wenn ich eine DS ausschalte, wird der aktuelle Durchgang beendet. Ziemlich praktisch wenn man mal viele GB übertragen muss.

Ich habe ein Suchscript erstellt, welches alle Ordner durchsuchen kann, sodass dies auch auf den internen Ordner läuft. Allerdings braucht dieses viel Leistung und dauert auf älteren DS sehr lange. Ich würde das Such Script nur bei externen Geräten verwenden und intern die Scripte direkt angeben. Das Such Script ist ja eigentlich auch nur dafür gedacht um jeden Port nutzen zu können usw.

 

[jugi]

Schaut euch das hier mal an - vllt könnt ihr euch ja was abkucken und damit dann auch versionierte backups "anbieten"

http://www.pointsoftware.ch/howto-local-and-remote-snapshot-backup-using-rsync-with-hard-links/

edit: wenn ihr euren code auf github o.ä. packt könnten andere mit einsteigen (pull-reqs)

 

[PsychoHH]

Versionierte Backup kann man machen ja aber.. Man muss jeden Ordner/Version durchsuchen, dass ja ziemlich lästig werden wenn man eine bestimmte Version sucht. Das ist der einzige Grund wo ich Hyper Backup als Alternative vorziehen würde oder auch Time Backup. Sonst gibt es ja auch rsnapshot was sehr gut läuft.


Ich weiß ja nicht wieviele Leute von euch verschlüsselte Ordner nutzen und diese auch sichern wollen. Aber auch dort können wir ein Feature nachreichen, welches es meines Wissens nach hier so nicht gibt, zwecks Sicherheit/automatische Sicherung.

 

[jugi]

Was meinst du mit "jede Version durchsuchen"? Das liegt doch in der Natur der Sache, wenn man bspw. nicht genau weiß, wann man etwas gelöscht/überschrieben hat. Das wäre bei HB aber auch nicht anders und für rsnapshot braucht man wieder ipkg usw usf… das is mir zu viel gefrickel.

Was fürn Feature meinst du @ verschlüsselte Ordner?

 

[Tommes]

Erstmal darf ich mich selber zitieren...

Unabhängig davon ist uns vorhin noch aufgefallen, das die DSM-Konfiguration ja auch nur lokal gesichert werden kann, das bedeutet, das du nicht wie eigentlich gewünscht, eine Sicherung der Konfiguration von deiner DS214 erstellst, sondern von deiner DS112, was natürlich nicht Sinn der Sache ist. Daher würde ich diese Option erstmal ausschalten bis PsychoHH und ich eine Lösung dafür gefunden haben. Sorry schonmal für diesen "dummen" Fehler.

... das Problem ist quasi gelöst und wird in kürze veröffentlicht. Wir feilen nur noch an den Feinheiten rum.

Und zu dem versionierten Backups hatte ich hier bereits schon ein Statement zu abgegeben. Ich bin kein Freund davon, vor allem wegen der Hardlinks. So ein versioniertes Backup später mal unter Windows auszulesen, ist wohl nicht möglich, man braucht also zwingend ein Linuxsystem. Wer sowas haben möchte, der darf sich da gerne was zu basteln jedoch entspricht das nicht der Philosophie dieses Projektes.

@PsychoHH: Verrat doch nicht immer alles bezüglich dem verschlüsselten Ordnern

Tommes

 

[jugi]

Schade