Ultimate Backup Ultimate Backup

[Tommes]

Wir haben deine PN‘s erhalten und danken dir dafür erstmal recht herzlich. Wir werden das zu gegebener Zeit prüfen und schauen, was wir davon verwenden und was nicht. Da wir bereits seit längeren an einer neuen - komplett überarbeiteten - Version von Ultimate Backup feilen, kann es durchaus sein, das wir das erst mit dieser Version umsetzen, Einen Veröffentlichungstermin gibt es aber noch nicht.

Ach ja, bevor ich’s vergesse.... für das rsync-Script ist PsychoHH der federführende Ansprechpartner. Solltest du also in Zukunft noch weitere Vorschläge diesbezüglich haben, dann richte dich bitte direkt an ihn. Ich bin mehr für die GUI zuständig, also für das was man sieht.

Tommes

 

[ong10]

Hallo Tommes,

danke für das Feedback. Klar, dass meine Ideen nur Vorschläge sein können - und sollen. Da ich aber selbst programmiere, weiß ich, wie viel einfacher es doch ist, Vorschläge zu übernehmen, wenn einem der Code schon fertig geliefert wird ;-)

Euer Tool ist auf jeden Fall echt klasse. Vielen Dank für die viele Arbeit, die ihr beiden schon bisher da rein gesteckt habt.

Olaf

 

[Anguel]

So, bin jetzt endlich dazu gekommen, ein echtes Backup meiner Dateien auszuführen, das nach mehreren Tagen leider mit Error Code 23 endete.
Nachdem ich das Backup neu starte, läuft alles relativ schnell durch, endet aber wieder mit diesem Code 23.
Wie kann ich genauer feststellen, was hier schief läuft?

Quellordner /volume1/OFFSITE wurde lokalisiert...
Quellordner /volume1/OFFSITE ist erreichbar...
/bin/umount /volumeUSB1/usbshare/OFFSITE
/bin/rm -r /volumeUSB1/usbshare/OFFSITE

/volume1/UltimateBackupKeyFiles/ZielOrdnerKeyFile.key gefunden
/volume1/UltimateBackupKeyFiles/ZielOrdnerKeyFile.key entschlüsselt
/volumeUSB1/usbshare/OFFSITE wird angehängt...
mkdir -p /volumeUSB1/usbshare/OFFSITE /volumeUSB1/usbshare/@OFFSITE@
chmod 700 /volumeUSB1/usbshare/OFFSITE /volumeUSB1/usbshare/@OFFSITE@
yes "" | /bin/mount -t ecryptfs /volumeUSB1/usbshare/@OFFSITE@ /volumeUSB1/usbshare/OFFSITE -o key=passphrase:passphrase_passwd=GEHEIM,ecryptfs_cipher=aes,no_sig_cache,ecryptfs_key_bytes=32,ecryptfs_passthrough=n,ecryptfs_enable_filename_crypto | grep ecryptfs_sig= | sed 's/.*ecryptfs_sig=//'
mkdir -p /volumeUSB1/usbshare/OFFSITE

Starte Datensicherung:
von: /volume1/OFFSITE
nach: /volumeUSB1/usbshare/OFFSITE
rsync -ahR /volume1/OFFSITE --stats --delete-excluded --exclude=@eaDir/*** --exclude=@Logfiles/*** --exclude=#recycle/*** --exclude=#snapshot/*** --exclude=.DS_Store/*** --delete --backup --backup-dir=@Recycle/2018-06-01_09h58m26s_rsync_UltimateBackupScript.sh /volumeUSB1/usbshare/OFFSITE

Number of files: 60344
Number of files transferred: 3
Total file size: 5779.64G bytes
Total transferred file size: 3.30M bytes
Literal data: 3.30M bytes
Matched data: 0 bytes
File list size: 1.53M
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 5.02M
Total bytes received: 185.84K

sent 5.02M bytes  received 185.84K bytes  10.91K bytes/sec
total size is 5779.64G  speedup is 1109690.08
/volume1/OFFSITE - RSync-Code 23
------------------------------------------------------------------------------------------------
RSync Fehlermeldung (Exit Code): 23
------------------------------------------------------------------------------------------------

RSync-Datensicherung fehlgeschlagen - Sicherungsziel: /volumeUSB1/usbshare/OFFSITE
------------------------------------------------------------------------------------------------


Der Sicherungsordner wird verschlüsselt.
/bin/umount /volumeUSB1/usbshare/OFFSITE
/bin/rm -r /volumeUSB1/usbshare/OFFSITE

 

[Tommes]

Welches Dateisystem befindet sich auf dem externen Datenträger? FAT(32), exFAT, NTFS, ext3, ext4....

 

[Anguel]

Auf der USB-Platte ist es NTFS.
Auf der Synology SHR mit Btrfs.

 

[Tommes]

NTFS ist schon mal gut. Kannst du bitte mal eine neue Aufgabe erstellen und mit einer Hand voll Testdaten (hier reichen ein paar 100 MB schon aus) von denen du weißt, das dessen Dateinamen und Ordner nicht mehr wie 143 Zeichen besitzen und keine korrupten Dateien enthalten, die einen Error 23 auslösen könnten. Mir ist erstmal wichtig zu wissen, ob es bei dir überhaupt funktioniert und falls ja, dann kommen wir wieder zu dem Punkt, bei dem wir bei ong10 bereits waren... ein Error 23 weist auf ein Problem mit deinen Daten hin.

Tommes

 

[Anguel]

Ja, mit weniger Dateien hat es schon mal funktioniert. Weiß nur nicht, wie ich feststellen kann, welche Dateien problematisch sein könnten. Muss ich da erweiterte Logausgabe aktivieren?

 

[Tommes]

Das kannst du, inden du eine Aufgabe manuell ausführst und dabei dann die erweiterte Logausgabe (Option -vv) anhakst. Aber Achtung, bei deiner Datenmenge könnte das Protokoll, welches dabei erstellt wird, ziemlich groß ausfallen. Daher würde ich mir dieses erstmal nicht per Mail schicken lassen, sondern nur lokal einsehen.

 

[Anguel]

Gibt es denn keine Möglichkeit, nur die Fehler auszugeben? Könnte ich evtl. -vv durch -q oder ähnlichem im Skript ersetzen?

 

[ong10]

Hallo Anguel,

ich habe es bei mir so gemacht: Debug Log und erweiterte Ausgabe einschalten und das Backup nochmal laufen lassen.

Vorher solltest Du vielleicht deine Emailadresse da raus nehmen, damit du KEINE Mail von diesem Test erhältst.
Die Datei die als LOG entsteht findet sich im Unterverzeichnis @Logfiles unterhalb des Verzeichnisses, in dem Dein rsync Script liegt.
Die Log Datei nach dem Laufen des SCripts öffnen. Ich habe Notepad++ verwendet und dann alle Zeilen entfernt, die scheinbar funktioniert haben.
Das habe ich über Suchen+Ersetzen gemacht. Ersetzen hierbei jeweils gegen nichts (Feld leer lassen)
Duchen nach REGEX (!), und zwar nach: \[sender\] hiding .*\n

Nachdem das Suchen klappt (zum testen) den "Alle ersetzen" Button ... dauert.
Danach auf zur zweiten Runde:
Duchen nach REGEX (!), und zwar nach: .* is uptodate\n
Gleiches Spiel wie vorher.
Danach ist die Datei wesentlich kürzer und (viel) leichter überschaubar.

Dateien die nichts am Ende stehen haben sind "neu" hinzugekommen.
Welche Dateien/Verzeichnis Probleme bereiten, musst Du per Hand gucken (oder dich genauer mit rsync beschäftigen). Bei mir sollte z.B. eine Datei mit dem Namen teine f\#303\#274r einen sch angelegt werden - das sind natürlich Sonderzeichen und bereiten Probleme.

Olaf

 

[Anguel]

Olaf, vielen Dank für die Infos. D.h. ich muss auch Debug-Log anclicken? Hab jetzt nur "-vv" ausgewählt und das scheint nichts weiter als eine Liste der Dateien zu sein, oder übersehe ich was?

 

[ong10]

Hallo,

eigentlich sollte es (glaube ich) auch nur mit dem 2. Schalter klappen - aber warum nicht einfach beide.

Olaf

 

[Anguel]

Irgendwie spielt es bei mir keine Rolle, ob ich auch Debug-Log anklicke oder nicht.

\[sender\] hiding .*\n

Da findet er nur sehr wenige Einträge.

.* is uptodate\n

Hier findet er gar nichts.

Danach ist die Datei wesentlich kürzer und (viel) leichter überschaubar.

Bei mir sind immer noch die 8,6 MB Dateinamen drin :-(

Dateien die nichts am Ende stehen haben sind "neu" hinzugekommen.

Was meinst du hier genau? Ich nutze übrigens keine Versionierung.

Welche Dateien/Verzeichnis Probleme bereiten, musst Du per Hand gucken (oder dich genauer mit rsync beschäftigen).

Genau das ist mein Problem, rsync muss doch in der Lage sein nur die Fehler auszuspucken. Ich sehe auch komischerweise als Statusmeldung im Interface:
Fehler - volume1/OFFSITE/Backup_Other_NASes/EXTMOUNT_QNAP/REPOSITORY/Hardware/Lenovo V510-15IKB/bios/Install_Error.jpg

Diese Datei ist aber völlig ok und im Log ist bezüglich dieses Fehlers auch nichts zu sehen.

Bei mir sollte z.B. eine Datei mit dem Namen teine f\#303\#274r einen sch angelegt werden - das sind natürlich Sonderzeichen und bereiten Probleme.

Ich habe jede Menge solcher Sonderzeichen in den Dateien, aber eigentlich werden bei mir wohl auch nur ca 30 von 55.500 Dateien nicht rüberkopiert - ich vergleiche die Ordnereigenschaften auf dem Syno und der USB-Platte.

 

[ong10]

Hallo,

vielleicht vergleichst du mal mit einem anderen Tool deine Quelle mit deinem Ziel. Ich nutze sehr gerne https://www.freefilesync.org

Olaf

 

[ong10]

Hallo,
hattest Du für die Suche auf "RegEx" umgestellt?

Olaf

 

[ong10]

Hallo nochmal

Ausgabe von Fehlern und Zusammenfassung: https://stackoverflow.com/questions...ow-only-error-messages-and-a-summary#43977676
Getestet hab ich es noch nicht - denn nur Fehler 23 hilft dir ja nicht weiter.

Olaf

 

[ong10]

Hallo,

seltsam.
Ich bin gerade ziemlich am Script am basteln und kann es Dir zu Testzwecken gerne mal geben (natürlich auf Dein eigenes Risiko). Schreib mal eine PN.
Das Script kann Dir dann auch ein rsync log ausgeben, in dem bei meinem Test ganz klar stand, was nicht geht:

2018/06/01 15:26:01 [6203] rsync: recv_generator: failed to stat "/volume1/bk/test/Hauptversion/volume1/offen/123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_123456789_.txt": File name too long (36)

Im "normalen" (auch extended) log stand davon gar nix.

Olaf

 

[Anguel]

Danke für die Hilfe. Auf RegEx hatte ich umgestellt, die Log-Datei scheint (nach deiner Bereinigung) nur Verzeichnisse und Dateinamen aufzulisten, irgendwie habe ich das Gefühl, dass die Fehler nicht in den Log geschrieben werden.

Kannst du mir sagen, ob ich

2>> "$log" ins Skript hinzufügen kann, um den Error-Log auszugeben? Kann das sein? Momentan steht im Skript überall nur:

>> "$log"

 

[Anguel]

Ich meine das:
https://www.brianstorti.com/understanding-shell-script-idiom-redirect/

 

[ong10]

Hallo,

nein, kann ich nicht. Habe mich jetzt einige Arbeitstage mit UB beschäftigt, vorher habe ich noch nie mit shell/bash gescripted.

Olaf