[Projekt] rsync -Alternative dateibasierte Datensicherung

[whitbread]

Also das Thema verschlüsselte Ordner ist für mich das Totschlagargument gegen HB in der neuen (DB--basiert) Form: Sämtliche Ordner zum Sicherungszeitpunkt zu mounten ist für mich praxisfern. Die Sicherungen laufen doch meist nachts und da möchte ich ja nun nicht alle verschlüsselten Ordner mounten!

Mit dem Argument habe ich auch nochmal nen Ticket aufgemacht und nach einer völlig unangebrachten Belehrung hat man mir nun mitgeteilt, dass Ihnen das Problem bewusst sei...

 

[Tommes]

PsychoHH hat da schon einen sehr interessanten Lösungsansatz, der sich sehr vielversprechend anhört. Da wir zur Zeit jedoch an viele Fronten kämpfen, ist das grade ein wenig in den Hintergrund gerückt. Aber wir sind da dran und werden auf jeden Fall an einer Lösung arbeiten bzw. haben bereits eine Lösung dafür... (als Rohdiamant sozusagen) soviel kann ich schon mal verraten. Ob wir das in der Form jedoch veröffentlichen können, müssen wir noch beratschlagen... mehr will ich dazu im Moment jedoch nicht dazu sagen. Es bleibt also spannend.

BTW: Uns sind noch einige Unstimmigkeiten im Script aufgefallen, die wir grade versuchen auszumerzen. Teilweise sind die Probleme bereits gelöst, teilweise hakt es hier und da noch etwas. Ich bin aber guter Dinge, das ich bis spätesten morgen Abend ein neues Realese-Note raushauen werde. Also auf jeden Fall mal hier vorbeischauen.

Tommes

 

[PsychoHH]

Die Sicherungen laufen doch meist nachts und da möchte ich ja nun nicht alle verschlüsselten Ordner mounten!

Kann ich verstehen und sehe ich auch so.

Ich habe jetzt mal ein paar Fragen.

Willst du die verschlüsselten Ordner auf eine externe Festplatte oder eine weitere DS sichern?
Wenn auf eine weitere DS, sollen die Ordner dann in einen normalen Ordner oder in einen verschlüsselten Ordner kopiert werden?


jugi kann auch mal sagen wie er sich das ganze vorstellt.

 

[Tommes]

Also ich sichere einen meiner verschlüsselten Ordner immer unverschlüsselt auf einer externen Festplatte. Jedoch ist das bei mir kein Problem, da ich den Ordner immer (manuell) eingehangen habe da mir dieser nur als Diebstahlsicherung dient.

Jedoch sollte die Sicherung eines verschlüsselten Ordners, egal ob eingehangen oder nicht, egal ob verschlüsselt oder unverschlüsselt gesichert, sowohl lokal als auch übers Netzwerk funktionieren. Einen verschlüsselten Ordner an sich zu kopieren sollte ja nicht das Problem sein, dieser liegt ja als @Ordner@ vor und kann über die Variable SOURCES angesprochen werden. Hab das aber ehrlich gesagt noch garnicht probiert... sollte ich mal tun

Tommes

 

[PsychoHH]

Also ich sage mal so, es ist alles möglich


Es gibt verschiedene Varianten die man nutzen könnte.

1. Verschlüsselter Ordner wird unverschlüsselt auf eine externe gesichert.
2. Verschlüsselter Ordner wird verschlüsselt auf eine externe gesichert. ( Hier ist dann ja kein einhängen nötig, da @Ordner@ kopiert wird)
3. Verschlüsselter Ordner wird unverschlüsselt auf eine weitere DS gesichert.
4. Verschlüsselter Ordner wird verschlüsselt auf eine weitere DS gesichert. ( Hier kann man auf beiden DS automatisch einen verschlüsselten Ordner einhängen, kopieren und aushängen )

Das gute an Variante 4 ist man kann auf beiden DS einfach einen verschlüsselten Ordner einhängen und brauch kein Live Linux oder muss den @Ordner@ selbst einen mountpath geben.

 

[whitbread]

Also meine Präferenz liegt klar auf dem verschlüsselten Backup der verschlüsselten Daten.

 

[PsychoHH]

Ja auf eine externe Festplatte oder DS?

 

[whitbread]

Beides ;=)

 

[jugi]

Ich bin selber noch in der "Planungsphase" und hab mich auch bisher nicht viel mit dem Thema beschäftigt, da die Anforderung für verschlüsselte Ordner & Backups gerade erst aufkam…

Es wird aber wohl darauf hinauslaufen, dass die Ordner Nachts auf eine andere DS gesichert werden und dort dann die Daten ebenfalls verschlüsselt liegen müssen - im Idealfall sogar so, dass sie auf der Backup-DS ohne entsprechenden Key auch für root nicht erreichbar sind (was HB glaube ich auch nicht kann…).

Nachtrag: es können während des Backuplaufs 24h-disconnects auftreten und das Backup muss auch nach einem disc noch konsistent sein - je nach Aufbau kann das ggf. zum Problem werden, oder?

 

[PsychoHH]

Es wird aber wohl darauf hinauslaufen, dass die Ordner Nachts auf eine andere DS gesichert werden und dort dann die Daten ebenfalls verschlüsselt liegen müssen - im Idealfall sogar so, dass sie auf der Backup-DS ohne entsprechenden Key auch für root nicht erreichbar sind (was HB glaube ich auch nicht kann…).

Das sollte dann so möglich sein ja. Ohne Key, keinen Zugriff.


Ja das mit den reconnects .. ich teste das schon exzessiv durch und hoffe es klappt bald alles.
Selbst wenn es zum trennen während des Durchgang kommt, sollte die Datei paar Minuten später nochmal kopiert werden, sodass sie konsistent ist.
Ich bin dran

 

[Tommes]

Es ist mal wieder soweit...

PsychoHH und ich haben uns die letzten Nächte um die Ohren geschlagen um diverse Unstimmigkeiten im Script zu beheben und um das System weiter vorran zu treiben, es stabiler, ausgereifter und sicherer für euch zu machen. Unser Fokus lag vor allem auf dem Benachrichtigungssystem um dem Benutzer stehts ein Feedback geben zu können, was das Script grade tut und was nicht... und warum es das nicht tut. Dafür mußten einige Abfragen, Bedingungen sowie aussagekräfitge Fehlerausgaben geschaffen werden, um dieses umsetzten zu können. Ich glaub ich hab das Script gefühlte 500 mal durchlaufen lassen... PsychoHH mindestens genaus oft. Aus diesem Grunde wage ich jetzt mal zu behaupten, das wir mit diesem Realese für den Moment jedenfalls, verammt nah an der Perfektion angekommen sind. Natürlich fehlen noch ein paar Dinge, wie die Sache mit der Verschlüsselung, aber wir sind da drann...

OK, ich hab mal wieder zuiel gequatscht. Hier als die...

Realese-Notes vom 03.04.2016

• Daten im Ordner @Recycle wurden trotz eingestellter Zeitvorgabe nicht gelöscht. Fehler im Löschvorgang behoben.
• Daten im Ordner @DSMConfig wurden trotz eingestellter Zeitvorgabe nicht gelöscht. Fehler im Löschvorgang behoben.
• Fehler bei der Sicherung der DSM-Systemkonfiguration behoben. Es wurde selbst bei einer SSH-Verbindung immer nur eine lokale, also Serverseitige Sicherung der DSM-Systemkonfiguration angelegt nicht aber, wie es richtig wäre, eine Clientseitige. Da bei einer SSH-Verbindung die Quelldaten jedoch vom Client geholt werden, sollte auch die DSM-Systemkonfiguration von dort stammen. Dieser Fehler wurde behoben und man findet die entsprechende Info auch im Protokoll wieder.
• Diverse Fehlerkorrekturen im Script eigenen Benachrichtigungssystem wurden behoben. Außerdem wird jetzt jede Aktion sowie Reaktion vom System erfasst und ins Protokoll übergeben. So ist gewährleistet, das der Benutzer immer ein Feedback erhält um mögliche Fehler besser lokalisieren zu können.
• Bei einer Datensicherung über eine SSH-Verbindung werden im Vorfeld diverse Bedingungen vom System abgefragt um zu prüfen ob eine Verbindung überhaupt hergestellt werden konnte und ob der gewünschte Ordner überhaupt erreichbar bzw. vorhanden ist, bevor mit der eigentlichen Datensicherung begonnen wird. Sollte die Verbindung zwischenzeitlich getrennt werden, versucht das System erstmal von alleine die Verbindung wiederherzustellen, bevor eine Fehlermeldung generiert wird.

Comming soon... Wir arbeiten mit Hochdruck an einer Lösung um verschlüsselte Ordner sichern zu können, die vom System in der Quelle und im Ziel automatisch eingehangen- und nach der Sicherung wieder automatisch ausgehangen werden. Auch weitere Möglichkeiten der Sicherung eines veschlüsselten Ordners werden zur Zeit geprüft und getestet. Es bleibt also spannend...

Und wie immer die Bitte an euch, auch wenn wir das Script jetzt schon bis zum Erbrechen getestet haben. Tut euch und euren Daten ein gefallen und Testet das System erstmal mit unwichtigen Testdaten bevor ihr es produktiv einsetzt. Aber falls es euch beruhigt, ich setzte es bereits produktiv ein und sicher so bereits regelmäßig ca. 500 GB Daten... erstmal

Tommes

 

[reiki]

Als mitlesender Laie, der bisher mit Hyperbackup nicht wirklich glücklich ist, sage ich ich euch beiden, Tommes und PsychoHH, vielen vielen Dank für die intensive Arbeit.

Vielleicht traue ich mich mich demnächst als Laie an die Implementierung eures Scriptes.

 

[Tommes]

Wir helfen dir auch gerne beim Einrichten, reiki. Kein Problem. Obwohl ich eigentlich versucht habe das Wiki so zu verfassen, das auch "Laien" wie du, damit zurecht kommen. Solltest du an irgendeinem Punkt ins straucheln kommen, dann wäre es ein tolles Feedback für mich es noch verständlicher zu formulieren. Wenn man selbst so ein Script schreibt und dazu das Wiki verfasst, hat man natürlich auch einen ganz anderen Blickwinkel als jemand außenstehender.

Tommes

 

[reiki]

Vielen Dank für die avisierte Unterstützung. Gebe Rückmeldung, wenn ich die Zeit zur Umsetzung finde. Entweder melde ich hoffentlich erfolgreiche Implementierung oder werde "dumme" (also laienhafte) Fragen stellen.

 

[PsychoHH]

Also ich habe die Verschlüsselungssache schon ein ziemliches Stück vorangetrieben. Es läuft auch schon mit der Quelle auch über ssh auf einer entfernten DS. Geduld und es wird gut.

Ich wollte nur mal anmerken, dass man das rsync Script einfach auf eine externe Platte als autorun speichern kann ohne .sh

Wenn man dann autorun installier hat, wird das Backup automatisch ausgeführt, wenn man die Platte ansteckt. Und das auch unter DSM 6 nur so als Tipp

Wenn man jetzt noch einen Key auf einen Stick/Festplatte hätte und dann ein Script gestartet wird welches mit Hilfe des keyfile den verschlüsselten Ordner mountet, dann die Daten sichert und wieder trennt. Das wäre was

 

[gente]

danke erstmal für die tollen scripts.
kann es sein das rsync bei der angabe der backup quellen nicht mit Leerzeichen im ordnerpfad umgehen kann?
/Dokumente/Eigene Dateien/aktuelle Dokumente
backup bricht dann beim suchen des verzeichnisses mit fehler ab:
FEHLER: Lokaler Quellordner /Dokumente/Eigene nicht erreichbar!
Datensicherung ABGEBROCHEN...

------------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------------
FEHLER: Lokaler Quellordner Dateien/aktuelle nicht erreichbar!
Datensicherung ABGEBROCHEN...

------------------------------------------------------------------------------------------------

------------------------------------------------------------------------------------------------
FEHLER: Lokaler Quellordner Dokumente nicht erreichbar!
Datensicherung ABGEBROCHEN...

LG Thomas

 

[Tommes]

Oh... siehst du, sowas passiert, wenn man nur mit Ordnern testet, die kein Leerzeichen im Dateinamen mitführen. Wieder eine Eventualität, die man nicht im Fokus hatte, aber danke für den Hinweis.

Für den Moment würde ich vorschlagen, die Leerzeichen mit einem Backslash \ zu maskieren, längerfristig sollte sowas natürlich über das Script gelöst werden. In deinem Beispiel also so...

/Dokumente/Eigene\ Dateien/aktuelle\ Dokumente

Ich hab das jetzt selber aber noch nicht gestestet, sollte aber laut einer schnellen Recherche funktionieren. Evtl. könntest du noch kontrollieren, ob dein Script als Codierung, UTF-8 (wie im Wiki beschrieben) abgelegt wurde.

Tommes

 

[gente]

Danke,
...alles wie im Wiki beschrieben.
Hab jetzt den gesamten Hauptordner der ohne Leerzeichen im Namen auskommt im script als Quelle angegeben und alles funktioniert wie es sollte.
LG Thomas

 

[freddiek]

Hallo,

WOW, was inzwischen aus dem anfänglich einfachen Skript geworden ist, ist überwältigend.
So langsam frage ich mich wofür braucht man eigentlich noch die Backup Möglichkeiten von Synology :-D
Ich setze es inzwischen daheim und in der Firma ein. Läuft 1A.

An dieser Stelle ein Riesenlob an die aktiv arbeitenden Jungs hier

Ein kleine Frage/Anmerkung/Wunsch hätte ich noch:

Besteht die Möglichkeit die Versionierung der gelöschten Dateien (RECYCLE_ROTATE) komplett zu unterbinden ?
Idealerweise über einen Parameter, vielleicht X für gar keine Kopie der gelöschten Daten anlegen (sprich gleich löschen).
Der Grund ist, wenn man viele große Dateien besitzt und das Backupmedium nicht wesentlich größer ist als die DS selbst gibt es recht schnell Probleme mit dem Speicherplatz

Schöne Grüße
freddiek

 

[Andy+]

Ich würde das auch gerne testen. Gibt es da einen Downloadlink?

Wenn ich in absehbarer Zeit auf DSM 6 upgraden sollte, möchte ich da eigentlich auch nicht mit HyperBackup rummachen. Zur Zeit mache ich lediglich Tests mit einem Server, hauptsächlich wegen Backup, ownCloud, Zarafa, das ist alles noch eine Katastrophe und läuft nicht, wie es heute schon unter DSM 5.2 tut. Warum also ein Upgrade

Ich mache auch noch Tests mit TimeBackup unter DSM 6, weil das Paket jeweils noch in der PAT ist, wenn man die entpackt, ich habe das aktuell auf meiner DS712+ drauf. Aber wie lange geht das noch? Darauf verlassen kann man sich wohl nicht.