Ultimate Backup Ultimate Backup

[PsychoHH]

Beim dry werden aber keine Daten kopiert. Mal geschaut was die Platte gefüllt hat? Evtl jdwonloader?

 

[BastiFantasti7]

Hi,

es lief nebenher "eigentlich" nix. Vielleicht noch die Indizierung vom Suchdienst der DS.
Wo ich mit SSH drauf geschaut hab war auch alles ok. Überall noch > 1TB frei nur konnte ich mich über das Web UI nicht mehr anmelden.

Ich werde es nochmals testen und berichten.

 

[Fusion]

Wenn du Speicherfresser suchst ist vor allem die Systempartition interessant, die dir in der GUI nicht angezeigt wird und die nur ein paar GB an Größe hat.

df -h
du -xhd 1 /
du -xhd 1 /var/log

 

[mzenker]

Hallo zusammen,

nachdem bei meiner Diskstation (DS213j mit DSM 6.0.3) Time Backup jetzt nicht mehr durchläuft, will ich nochmal einen Anlauf mit Ultimate Backup machen. Beim letztenmal hat das Sichern von /homes nicht geklappt, aber ich möchte es einfach nochmal versuchen.
(Bei Time Backup habe ich den Eindruck, dass beim letzten Update der Pakete irgendwas passiert ist, obwohl ich es nicht verstehe. Jedenfalls bekomme ich unzählige Meldungen, dass er erweiterte Dateiattribute nicht setzen könne, und irgendwann bricht das Backup dann ab.)
Ich möchte also jetzt von einer DS213j ein neues Backup auf eine externe USB-Festplatte erstellen und dann differentielle, also versionierte Backups machen. Auf der internen Platte der Diskstation sind derzeit etwa 250 GB belegt. Ich habe mit Ultimate Backup schon einmal ein Test-Backup mit einem kleinen Teil der Daten erstellt, das ist problemlos durchgelaufen (auch Daten von /homes wurden ohne Probleme gesichert). Das Test-Backup hat für 3,5 GB ca. eine halbe Stunde gebraucht. Wenn man das extrapoliert, käme man auf über 30 Stunden für das erste Vollbackup.
Jetzt meine Frage: Kann ich das erste Backup auch in mehreren Portionen erstellen? Sonst würde die Diskstation ja 30 Stunden am Stück nudeln, und man sollte währenddessen möglichst nicht (schreibend) drauf zugreifen. Ich würde entweder mit Ultimate Backup ein Skript anlegen und das ein paarmal ändern und neu starten, oder aber die Ordnerstruktur von Hand anlegen, in mehreren Etappen die Daten reinkopieren und erst dann das Skript von UB übernehmen lassen. Ist sowas möglich, und worauf müsste ich ggf. achten?

Vielen Dankl!

Grüße,
Matthias

 

[Tommes]

Hi!

Schön das du es nochmal probieren möchtest. Ich würde das Backup einmal vollständig durchlaufen lassen, egal wie lange es dauert. Sollte es während dieses Backuplaufes zu Änderungen an Ordnern und/oder Dateien kommen (das wird sich ja in Grenzen halten) würde ich nach der Erstsichicherung einfach einen zweiten Backuplauf anstoßen, der dann alle zwischenzeitlichen Änderungen erfasst und deinem Backup hinzufügt... und das dann in deinem Falle sogar bereits versioniert. Da hierbei nur die Änderungen gesichert werden, sollte das Backup ziemlich zügig fertig werden.

Falls das trotzdem nicht dein Weg sein sollte. rsync legt keine Datenbank über den Backupverlauf an, sondern synchronisiert die Daten bei Änderung „just in time“. Das bedeutet, das wenn du das Backup zu irgendeinem Zeitpunkt unterbrichst, werden beim nächsten Durchlauf bereits gesicherte Daten mit der Quelle verglichen und ggf. aktualisiert und alles was noch nicht gesichert wurde, einfach ins Backup aufgenommen.

Tommes

 

[PsychoHH]

Gibt mehrere Möglichkeiten.
1. Unterordner nach und nach definieren und das Backup halt jedesmal mit einem anderen Unterordner durchlaufen lassen und am Ende direkt homes nutzen.

2. Daten manuell per FS kopieren und dann erst UB laufen lassen.

Ich selbst nutze homes nicht, da es manchmal Probleme beim sichern mit rsync geben kann. Liegt wohl daran, dass es son Synology Ding ist. Finde es gibt auch bessere Lösungen.


https://www.synology-forum.de/showthread.html?80689-Best-practice-Benutzer-Home-vs-gem-Ordner

 

[mzenker]

Danke für eure Antworten! Ich werde es mal mit "Unterordner nach und nach definieren" versuchen.
Allerdings habe ich gerade festgestellt, dass auf der Platte noch das angefangene Backup vom letzten Versuch ist und da schon so einiges drin ist. Kann ich das verwenden, oder muss ich nochmal neu anfangen? Die Ordnerstruktur ist halt anders als bei der neuen Version von eurem Tool. Muss ich die entsprechend ändern, also mit "Hauptversion" und "Versionsverlauf"? Oder macht Ultimate Backup das selbst, wenn es ein neues Skript erstellt?

Matthias

 

[PsychoHH]

Geht automatisch, also einfach sichern

 

[mzenker]

Wow, Antwort innerhalb einer Minute!
Habe das Skript neu erstellt, fange gleich mit homes an. Bin gespannt, ob es diesmal klappt. Ich melde mich, wenn es durch ist. Wenn es nicht durchläuft, dann auch... Wollen wir aber nicht hoffen.

Vielen Dank!
Matthias

 

[SynKlaus]

Hallo, bisher habe ich an meiner DS immer mit unverschlüsselten Backups gearbeitet, muss aber nun an einer anderen DS verschlüsselte Backups verwenden. Das klappt soweit inzwischen auch. Nun wollte ich auch mal probieren, wie ich an die verschlüsselten Backups wieder rankomme, wenn die DS mal defekt sein sollte. Als erstes habe ich sie an eine andere DS gehangen, an der ich ebenfalls mit Ultimate Backup auch Backups anfertige - Aber unverschlüsselte. Hier habe ich die USB-Platte angeschlossen und Ultimate Backup geöffnet. Den Key, den ich vorher auf die USB-Platte kopiert habe, findet er auch und bietet mir an, das Zielverzeichnis zu entschlüsseln. Das macht er aber nicht. Er schreibt immer nur, dass er den Key findet und dann ist Schluss.
Ich habe dann im Internet etwas gesucht und der einzige Ansatz, den ich gefunden habe, ist dass ecryptfs-Tool-Paket installiert sein muss. Das habe ich aber an der DS, an der ich die verschlüsselten Backups erstelle, auch nicht getan!? Hat noch jemand Ideen?

Grüße.

 

[Anguel]

Ich habe dann im Internet etwas gesucht und der einzige Ansatz, den ich gefunden habe, ist dass ecryptfs-Tool-Paket installiert sein muss. Das habe ich aber an der DS, an der ich die verschlüsselten Backups erstelle, auch nicht getan!? Hat noch jemand Ideen?

In meinem Skript hier mache ich es auch mit ecryptfs, auch wenn unter Ubuntu:
https://www.synology-forum.de/showt...Backup/page202&p=786410&viewfull=1#post786410

Log dich mal per SSH auf die Syno ein und probier doch mal die letzte Zeile des Skripts, indem du sie mit deinen Parametern eingibst:

sudo mount -t ecryptfs -o key=passphrase,ecryptfs_cipher=aes,ecryptfs_key_bytes=32,ecryptfs_passthrough=no,ecryptfs_enable_filename_crypto=yes,passwd=$meinpassphrase $mountordner_verschluesselt $mountordner_entschluesselt

 

[PsychoHH]

Paar Seiten zurück hat Tommes auch einen link gepostet.

 

[Tommes]

Zielordner über das Terminal entschlüsseln

Aus gegebenen Anlass, hier mal eine deutsche Fassung, wie man Zielordner manuell über das Terminal (die Konsole der DS) einhängen und trennen kann. Voraussetzung ist, das man hierbei als root am Terminal angemeldet ist!

Zielordner über das Terminal entschlüsseln
Die Zielordnerschlüsselung von Ultimate Backup basiert auf dem Verschlüsselungssystem "ecryptFS". Die folgenden Anweisungen beschreiben die Möglichkeit, einen verschlüsselten Zielordner über das Terminal zu entschlüsseln und ggf. wieder zu trennen.

Beispiel
Als Beispiel dient uns ein Backupauftrag für Ultimate Backup mit den folgenden Einstellungen.

• Sicherungsname: /volumeUSB1/usbshare/rsync_backup.sh
• Sicherungsordner: /volumeUSB1/usbshare/encrypted_Folder
• Schlüsseldatei: /volumeUSB1/usbshare/secret.key
• Passwort: test

Hinweis:
Im folgenden müssen alle rot makierten Textstellen durch eure eigenen Werte ersetzt werden!

Generieren der PASSPHRASE
Um den verschlüsselten Ordner mounten zu können, benötigen wir eine Passphrase. Hier bietet sich die Seriennummer der Diskstation an, da diese einmalig und somit nicht übertragbar ist und man anhand der Seriennummer die DS eindeutig identifizieren kann. Auslesen lässt sich die Seriennummer durch folgende Eingabe:

root@Diskstation:~# cat /proc/sys/kernel/syno_serial
1234ABC567890

Des weiteren setzen wir vor der ermittelten Seriennummer noch den Namen unserer App, um so den Bezug zu unserem System herstellen zu können. Als Ergebniss erhalten wir eine individuelle Passphrase nach dem Schema UltimateBackup[SERIAL-NUMBER-OF-THE-DS]...

UltimateBackup1234ABC567890​

Passwort der Schlüsseldatei extrahieren
Basierend auf der, nach dem Muster UltimateBackup[SERIAL-NUMBER-OF-THE-DS] erstellen PASSPRASE, können wir damit nun (bei Bedarf) das Passwort der Schlüsseldatei, also des Key-Files extrahieren:

root@Diskstation:~# ecryptfs-unwrap-passphrase /volumeUSB1/usbshare/secret.key UltimateBackup1234ABC567890
test

Mounten des verschlüsselten Ordners
Jetzt können wir den verschlüsselten Ordner in einem unverschlüsselten Ordner mounten. Dazu müssen wir zuerst einen unverschlüsselten Ordner erstellen.

root@Diskstation:~# mkdir -p /volumeUSB1/usbshare/decrypted_Folder

Jetzt können wir den verschlüsselten Ordner @encrypted_Folder@ in den unverschlüsselten Ordner decrypted_Folder mounten.

root@Diskstation:~# yes "" | /bin/mount -t ecryptfs "/volumeUSB1/usbshare/@decrypted_Folder@/" "/volumeUSB1/usbshare/decrypted_Folder/" -o key=passphrase:passphrase_passwd="test",ecryptfs_cipher=aes,no_sig_cache,ecryptfs_key_bytes=32,ecryptfs_passthrough=n,ecryptfs_enable_filename_crypto

Hinweis:
Ersetzt "/volumeUSB1/usbshare/@decrypted_Folder@" durch den Pfad zu eurem verschlüsselten Ordner und "/volumeUSB1/usbshare/decrypted_Folder" mit dem Pfad zu eurem entschlüsselten Ordner. Das Passwort "test" müsst ihr mit eurem Passwort ersetzen.

Ordner wieder verschlüsseln (unmount)
Um den Ordner wieder zu verschlüsseln (unmount) gibt man folgendes ein...

root@Diskstation:~# /bin/umount /volumeUSB1/usbshare/decrypted_Folder

... wobei auch hier der Pfad /volumeUSB1/usbshare/decrypted_Folder durch euren ersetzt werden muss.

 

[mzenker]

Habe das Skript neu erstellt, fange gleich mit homes an. Bin gespannt, ob es diesmal klappt. Ich melde mich, wenn es durch ist. Wenn es nicht durchläuft, dann auch... Wollen wir aber nicht hoffen.

Leider hat es nicht funktioniert. Beim Dry-Run für /homes kommt schon rsync-Fehler 23. Ich habe einen weiteren Dry-Run mit erweitertem Log (Option -vv) laufen lassen. Die Datei ist über 300 MB groß. Wonach muss ich suchen, wenn ich wissen will, was da schiefläuft? Die Suchstrings "error" und "fail" haben nichts erbracht. Auch die letzten paar Bildschirme vor Ende des Logs enthalten im Wesentlichen nur Dateilisten. Am Schluss kommt folgendes:

rsync[16241] (sender) heap statistics:
arena: 51482624 (bytes from sbrk)
ordblks: 870 (chunks not in use)
smblks: 0
hblks: 2 (chunks from mmap)
hblkhd: 270336 (bytes from mmap)
allmem: 51752960 (bytes from sbrk + mmap)
usmblks: 0
fsmblks: 0
uordblks: 6366952 (bytes used)
fordblks: 45115672 (bytes free)
keepcost: 527888 (bytes in releasable chunk)
recv_files phase=2
generate_files phase=3
recv_files finished

rsync[16244] (server receiver) heap statistics:
arena: 80867328 (bytes from sbrk)
ordblks: 973 (chunks not in use)
smblks: 0
hblks: 2 (chunks from mmap)
hblkhd: 270336 (bytes from mmap)
allmem: 81137664 (bytes from sbrk + mmap)
usmblks: 0
fsmblks: 0
uordblks: 5863712 (bytes used)
fordblks: 75003616 (bytes free)
keepcost: 133800 (bytes in releasable chunk)
generate_files finished

rsync[16243] (server generator) heap statistics:
arena: 81227776 (bytes from sbrk)
ordblks: 1731 (chunks not in use)
smblks: 5
hblks: 2 (chunks from mmap)
hblkhd: 270336 (bytes from mmap)
allmem: 81498112 (bytes from sbrk + mmap)
usmblks: 0
fsmblks: 240
uordblks: 8634672 (bytes used)
fordblks: 72593104 (bytes free)
keepcost: 133928 (bytes in releasable chunk)

Number of files: 354196
Number of files transferred: 476
Total file size: 179.59G bytes
Total transferred file size: 1.61G bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 8.97M
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 10.07M

Danke für Hinweise,
Matthias

 

[Anguel]

Wonach muss ich suchen, wenn ich wissen will, was da schiefläuft?

Evtl. die eigentlichen rsync-Fehler direkt ins normale Log umleiten, -vv etc. brauchst du dann nicht. Du musst aber das Skript um ein Zeichen erweitern wie ich es hier beschrieben habe:
https://www.synology-forum.de/showt...rt-nicht/page5&p=779076&viewfull=1#post779076

 

[mzenker]

Danke für den Tipp, mache ich beim nächstenmal so.
Aber nun habe ich das log schon mit -vv geschrieben und finde trotzdem bisher keinen Hinweis, was schiefläuft.
Der string "rsync:" kommt in meinem Log nicht vor. Schreibt er stderr trotz -vv nicht ins log?
Bin für weitere Hinweise dankbar...

 

[Anguel]

Der string "rsync:" kommt in meinem Log nicht vor. Schreibt er stderr trotz -vv nicht ins log?

Nach meinen Erfahrungen eben nicht, siehe hier:
https://www.synology-forum.de/showt...rt-nicht/page5&p=779221&viewfull=1#post779221

 

[mzenker]

Kann ich jetzt bestätigen. Ich habe nochmal einen Dry-Run laufen lassen mit der Änderung im Skript. rsync scheint sich an ein paar Dateien zu verschlucken, die Sonderzeichen (Umlaute) im Namen haben. Über stderr gibt es eine Fehlermeldung ab:

rsync: recv_generator: failed to stat "/volumeUSB1/usbshare/Backup/Hauptversion/volume1/homes/[Dateiname mit Umlaut]": Invalid or incomplete multibyte or wide character (84)

In dem erweiterten log mit Option vv wurde die Datei kommentarlos aufgelistet. Man kann da also nicht erkennen, wo ein Fehler auftritt.

Daher die Frage: Wie kann man rsync sagen, dass es solche Dateien trotzdem kopieren soll?

Bitte an Tommes/PsychoHH:: Es wäre hilfreich, wenn man die Umleitung von stderr ins log über die Oberfläche einstellen könnte (oder sie einfach immer drin wäre). Dann muss man nicht jedesmal im Skript nach dem entsprechenden rsync Aufruf suchen und das & hinzufügen. Oder gibt es eine andere Möglichkeit, die rsync-Fehlermeldungen in das Log zu bekommen, die ihr schon implementiert habt?

Danke und Gruß,
Matthias

 

[PsychoHH]

Bitte an Tommes/PsychoHH:: Es wäre hilfreich, wenn man die Umleitung von stderr ins log über die Oberfläche einstellen könnte (oder sie einfach immer drin wäre). Dann muss man nicht jedesmal im Skript nach dem entsprechenden rsync Aufruf suchen und das & hinzufügen. Oder gibt es eine andere Möglichkeit, die rsync-Fehlermeldungen in das Log zu bekommen, die ihr schon implementiert habt?

Das ist in einem Update schon implementiert. Kommt also.
Probier es mal bitte mit der rsync Option --iconv=utf8

 

[mzenker]

Super!

Ich hatte inzwischen auch nochmal gesucht und hier einen ganz ähnlichen Hinweis gefunden. Mit der Option --iconv=iso-8859-1,utf8 ist ein Dry-Run über /homes jetzt erfolgreich durchgelaufen.
Allerdings sagt Ultimate Backup in der Übersicht: "Protokoll konnte nicht ausgewertet werden!"
Heute Nacht lasse ich das Backup über /homes "live" laufen, dann wird es hoffentlich passen.

Danke und Grüße,
Matthias