Ultimate Backup Ultimate Backup

[Tommes]

Ultimate Backup 1.0.3


Release-Notes vom 26.03.2017
(...sobald von den Machern von CPHub freigegeben...)

• Die Auflösung des Ultimate Backup Icons im DSM-Hauptmenü wurde angepasst. (Danke an QTip)
• Ultimate Backup hat ein kleines Facelift erhalten und sieht jetzt noch besser aus
• Der Geräte-Manager und der SSH-Manager wurden zusammengelegt und neu strukturiert um die Einrichtung neuer Geräte zu erleichtern.
• Die Hilfedatei wurde auf die neuen Gegebenheiten des Gerätemanager angepasst.
• Statusmeldungen in der Auftragsübersicht wurden angepasst.
• Lokale MAC/IP Ausgabe erneut angepasst.
• Problem bei der Servererkennung im RSync-Script behoben.
• Interne Codeoptimierung durchgeführt.

Wir wünschen euch weiterhin viel Spaß mit Ultimate Backup

Tommes & PsychoHH

 

[Tommes]

Sooooo... Version 1.0.3 ist Online.

Und gleich mal ein kurzer Hinweis zur neuen Version. Im Gerätemanager unter Punkt 2. SSH-Verbindung einrichten befindet sich ab sofort ein Button mit der Aufschrift "SSH-Ordnerstruktur löschen". Dieser Button ist mit absoluter Vorsicht zu genießen, da nach dem drücken des selben ohne Nachfrage der Ordner /root/.ssh/ unwiderruflich gelöscht wird. Wir haben an dieser Stelle aktuell keine Abfrage eingebaut, um den Löschvorgang nochmal zu bestätigen. Wir haben dies aber für das nächste Update gleich mal berücksichtigt. Bis dahin solltest ihr euch zweimal überlegen, ob ihr da drauf drückt.

@AB66... Ups, dein Beitrag ist scheinbar an mir vorbeigelaufen, sorry. Das mit der Mail-Benachrichtigung schau ich mir gleich mal an, ggf. wird das zum nächsten Update gefixt. Dank dir auf jeden Fall für den Hinweis.

Ansonsten viel Spaß weiterhin.

Tommes

 

[WoodyT]

Läuft bestens.

 

[SynKlaus]

Habe nur eine kurze Frage zum Logging. Habe die letzten Tage/Nächte stückweise die neuen Backups mit Hilfe von Ultimate Backup laufen lassen. 2 Dinge sind mir danach aufgefallen:

1) Ich habe das Backup-Script einmal durchlaufen lassen. Danach habe ich den Quellordner und den Zielordner vergleichen lassen. Es gab da eine Datei, die weder vom Zeitstempel, noch vom Inhalt her gleich ist - Auch ein weiterer Backupvorgang sorgt nicht für Gleichheit dieser Datei - Er beachtet die Datei bei einem erneuten Vorgang nicht!? Evtl. ist die Datei im Zugriff durch einen anderen Prozess!? Doch dann sollte ich das doch im Logfile sehen - Oder? Ist auf jeden Fall sehr seltsam - Hier muss ich mal noch selber etwas weiter testen, indem ich die Datei absichtlich in der Quelle verändere.

2) Vor einem weiteren Durchlauf, habe ich das Backup-Script mit Ultimate Backup angepasst und einen weiteres Verzeichnis mit ins Backup reingenommen. Danach ist das Backup wieder druchgelaufen. Im Logfile sehe ich dann zu diesem neuen Verzeichnis:

Number of files: 72842
Number of files transferred: 72113

Die anschließenden Größenangaben sind alle identisch - Aber wie kommt es zu der Abweichung bei der Anzahl der Dateien? Selbiges ist mir schon beim ersten Durchlauf des Scriptes aufgefallen - Da stimmte die Anzahl auch nicht überein - Obwohl alle Dateien im Zielordner waren!?

Grüße.

 

[Tommes]

Zu 1.) Um welche Datei bzw. welches Dateiformat handelt es sich hiebei?

Zu 2.) Das wird wohl hieran liegen....

# RSync Optionen konfigurieren
#-------------------------------------------------------------------------
...
exclude="--exclude=@eaDir/*** --exclude=@Logfiles/*** --exclude=#recycle/*** --exclude=#snapshot/*** --exclude=.DS_Store/***"
...

Es werden also u.a. keine @eaDir sowie #recycle Ordner mitgesichert.

Tommes

 

[SynKlaus]

Zu 1) Es war eine CSS-Datei, welche von einem Synology-Paket erzeugt worden war.

Zu 2) Aber diese Ordner liegen nicht innerhalb meiner zu sichernden Verzeichnisse. Ich habe eine freigebenen Ordner "Daten". In dem gib es die von Dir erwähnten Ordner, die nicht mit gesichert werden. Außerdem gibt es darin noch die 3 Verzeichnisse "A", "B" und "C" (ist nur ein Beispiel). Im Backupscript habe ich nicht angegeben, dass er "Daten" sichern soll, sondern einzeln "A", "B" ausgewählt. Wenn ich z.B. Ordner "A" vergleiche, ist auch alles kopiert worden - Nur der Eintrag im Logfile passt nicht. Ich habe noch einen weiteren Ordner "D" beim letzten Backupvorgang noch neu mit aufgenommen. Da waren knapp 60.000 Dateien drin. Laut Logfile ist hier eine Abweichung von ca. 6000 Dateien. Einen Vergleich mit einem Synctool muss ich hier erst noch machen - Da aber im Logfile keine Fehler ausgegeben werden, gehe ich davon aus, dass es auch hier passt.
Hätte ich den gesamten Ordner "Daten" ausgewählt, wäre Dein Ansatz für mich sehr logisch gewesen - Aber so kann ich mir nicht vorstellen, dass er die excludierten Ordner, die eine Ebene höher liegen, mitrechnet!?

Grüße.

 

[Tommes]

Also ganz ehrlich... ich komm da langsam nicht mehr mit und so langsam Ufern deine Hinterfragungen auch aus. Auch sprengt das ein wenig den Rahmen dieses Threads. Ultimate Backup baut auf rsync auf und falls du mit dem Ergebnis nicht zufrieden bist bzw. du irgendwelche Anomalien festgestellt hast, dann solltest du dich mal auf die Suche machen, wie rsync arbeitet und welche Maßnahmen du ggf. ergreifen kannst um deine Probleme zu lösen.

Ich bin da erstmal raus.

Tommes

 

[SynKlaus]

Was ist los? Schlecht drauf? Du musst hier doch nicht antworten. Ich weiß auch, dass es nicht an Ultimate Backup liegt und ich habe Euch auch überhaupt keinen Vorwurf gemacht oder ähnliches. Da Ihr aber auch mit rsync arbeitet, ist es doch nicht verwerflich zu fragen, ob Ihr eine Idee habt, wo die Zahlen im Logfile herkommen!?

Grüße.

 

[PsychoHH]

rsync liegt halt in einer alten Version vor, weswegen es halt auch echt ein paar Bugs gibt.

Soweit mit bekannt werden da beim übertragen aber einfach keine symbolischen links und Ordner einbezogen.

Mehr Infos gibt es evtl auf der rsync manpage oder auch per verbose

 

[SynKlaus]

Danke. Ich werde mal noch ein paar Tests machen und etwas googeln.

Edit: Etwas habe ich schon gefunden, nämlich dass bei "Number of files" alles gezählt wird (inkl. Verzeichnissen, Symbolische Links usw.) und "Number of files transferred" sind nur die wirklich übertragenen Dateien. Ich werde das mal trotzdem noch mit einem Test nachstellen - Aber das beruhigt mich auf jeden Fall schon mal.

Grüße.

 

[QTip]

lt. Manual sollte mit

-l, --links                 copy symlinks as symlinks
-K, --keep-dirlinks         treat symlinked dir on receiver as dir

das Kopieren von Symlinks für Dateien und Verzeichnisse funktionieren, evtl. reicht auch -l schon alleine, habe es aber nicht getestet.

 

[PsychoHH]

Glaub ich nicht, dass es mit einbezogen wird in der Rechnung.

-l ist auch in a enthalten, aber probieren geht über ..

 

[SynKlaus]

lt. Manual sollte mit

-l, --links                 copy symlinks as symlinks
-K, --keep-dirlinks         treat symlinked dir on receiver as dir

das Kopieren von Symlinks für Dateien und Verzeichnisse funktionieren, evtl. reicht auch -l schon alleine, habe es aber nicht getestet.

Hallo QTip, es geht nicht darum, ob diese mit kopiert werden, denn das tun sie aktuell schon, sondern es geht darum, wie diese gezählt werden. Im Logfile ist eben eine Abweichung vorhanden, die ja einen Grund haben muss. Wie gesagt teste ich das voraussichtlich heute Abend mal und dann sind wir schlauer.

Grüße.

 

[Tommes]

...Außerdem bekam ich auch eine Email, obwohl ich nur eine Email bei Problemen wollte, aber es gab keine Probleme.

Wir konnten das Problem beheben und wird mit dem nächsten Update veröffentlicht. Vielen Dank nochmal für den Hinweis.

Tommes

 

[Tommes]

Ultimate Backup 1.0.4


Release-Notes vom 28.03.2017
(...sobald von den Machern von CPHub freigegeben...)

• Im Gerätemanager wurde unter Punkt 2. SSH-Verbindung, der Button "SSH-Ordnerstruktur löschen" entschärft.
• Wir haben eine Debug-Funktion in die Navigationsleiste eingebaut um für uns die Fehleranalyse zu vereinfachen.
• Es wurde auch dann eine E-Mail zugestellt, wenn als Einstellung "RSync-Protokoll nur bei Problemen senden" ausgewählt wurde, aber kein Fehler protokolliert wurde.
• Beim Erstellen eines Backup-Auftrages wurde das Feld "Externe Geräte" selbst dann angezeigt, wenn kein extern angeschlossener USB-/SATA-Datenträger angeschlossen war.

Wir wünschen euch weiterhin viel Spaß mit Ultimate Backup

Tommes & PsychoHH

 

[SynKlaus]

So, habe mir das mit der abweichenden Anzahl in der Logfile-Ausgabe noch mal angeschaut und auch noch mal getestet:

"Number of files transferred" ist wie der Name schon sagt, die tatsächlich transferierte Dateianzahl. "Number of files" zählt neben der Anzahl der Dateien auch noch alle Verzeichnisse mit:

Wenn man einen Ordner also das erste Mal backupt, müssen ja alle Dateien übertragen werden. Angenommen im Verzeichnis, das man zum Script hinzufügt, sind 113 Dateien und 47 Ordner enthalten, dann steht dann im Logfile:

Number of files: 163

Number of files transferred: 113

Wer jetzt nachrechnet, wird feststellen, dass "Number of files" 3 zu groß ist. Hier bin ich mir nicht 100% sicher, warum das so ist. Vermutlich wird das Verzeichnis, in dem die Datei liegen noch mitgezählt plus ".." und "." vom übergeordneten Ordner - Da bin ich kein Experte - Vielleicht kennt sich da jemand besser aus!? Ich habe das für alle Verzeichnisse überprüft, die ich in den letzen Tagen das erste Mal gebackupt habe und es ist überall genauso. Für mich ist die Sache damit erledigt.

Grüße.

 

[SynKlaus]

Tommes & PsychoHH: Danke für die neue Version. Ich hatte vorhin gerade die 1.03 installiert und finde die Umstrukturierung des SSH-Managers und des Gerätemanagers wirklich gut.
Ich habe noch eine Anmerkung zum Punkt "Systemumgebung überprüfen". Darin werden ja Infos von der Diskstation angezeigt, auf der Ultimate Backup läuft. Auf meiner Quell-DS wird bemängelt: "Der RSync-Dienst ist inaktiv!" Dieser Status allein ist ok, aber der Satz danach "Bitte aktivieren Sie den RSync-Dienst im DSM..." macht nur dann Sinn, wenn diese DS auch als Ziel verwendet wird bzw. wenn Dateien über rsync empfangen werden. Man müsste diesen also korrekterweise umformulieren bzw. erweitern - Aber kann von mir aus auch so bleiben, da er in bestimmten Konfigurationen auch Sinn machen kann.

Dann hätte ich noch einen Wunsch: Es gibt ja die Möglichkeit in Ultimate Backup einzustellen, dass die Ziel-DS nach dem Backup heruntergefahren werden soll. Kann man noch einen zusätzlichen Konfigurationspunkt hinterlegen, damit man das zusätzlich auch für die Quell-DS einstellen kann? Macht bei der Mehrzahl der Benutzer evtl. keinen Sinn, da deren Quell-DS immer läuft, aber es gibt ja hier auch diverse Benutzer im Forum, die Ihre DS seltener brauchen und so bei Nichtgebrauch abschalten. Meine 2 Diskstations schalten sich 1x Woche in der Nacht zeitgesteuert an und das Backup läuft los. Das kann wenige Minuten dauern oder durch lahmen 10MB/s (verursacht durch meine DS212+) bei entsprechender Datenmenge auch wesentlich länger, wenn ich wieder viel geändert habe. Aktuell werden die Diskstations nach 2 Stunden wieder automatisch heruntergefahren, damit das Backup auch durchläuft. Wenn es jedoch nur 5min gebraucht hat sind 2 Diskstations 1:55min sinnlos gelaufen. Wenn es dann aber in einem Ausnahmefall mal 2:30 gebraucht hätte, ist das auch doof. Ist aber nicht so wichtig.

Die 1.04. muss ich dann gleich mal noch draufspielen.

Grüße.

 

[Tommes]

Siehst du, war also doch kein Bug und es landen alle Daten im Backup, so wie es sich gehört. Trotzdem danke für deine neu gewonnenen Erkenntnisse bezüglich "Number of files transferred" sowie "Number of files" und das du diese mit uns teilst.

Bezüglich des RSync-Dienstes würde ich nichts ändern, da ein optionales Einschalten, je nachdem, welches Backup man durchführen möchte, nur für Verwirrung sorgt.

Und für das runterfahren der lokalen DS würde ich dir das Paket "Advanced Power Manager" empfehlen. Nichts desto trotz setzen wir deinen Vorschlag mal auf die Wunschliste.

Tommes

 

[ink0gnito]

Morgen zusammen.
Ich habe auch mal auf die aktuelle Version upgedatet.
Ich habe mal ne Frage zur allgemeinen Funktion leider habe ich nichts darüber gefunden in der Hilfe.
Wie sieht es mit einem restore aus?
Kann man den auch über die App anstossen?
Falls ich was übersehen habe verzeiht mir .

 

[dil88]

Nein, eine Restore-Funktion gibt es m.W. bisher nicht. Du kannst die Daten aber direkt von der Platte kopieren (z.B. per FileStation oder rsync), da sie im Filesystem gespeichert werden.