Ultimate Backup Ultimate Backup

[DS213+]

Wird so sein. Auslastung zwischen 50% und 60%. Da ist ein Kern für alle anderen Aufgaben fast frei. Ist mir ganz recht.

 

[servilianus]

Hallo Zusammen, eine Frage an die UB-Experten.

Ich lasse mir via UB zur Datensicherung täglich Daten von einem entfernten Server holen/sichern. Seit neustem wird aber im Log des Scripts dieser Fehler angezeigt:

"file has vanished: "/volume1/docker/ecomailz_data1809/hyper/data/index/_3xxs_9.liv" / file has vanished: "/volume1/docker/ecomailz_data1809/hyper/data/index/segments_2dcp". Und : rsync warning: some files vanished before they could be transferred (code 24) at main.c(1898) [generator=3.0.9]
/volume1/docker - RSync-Code 24.

Ich hatte schonmal dieses Problem, jedoch mit anderen Ordnern, irgendwann ging es dann wieder .Kann mir einer sagen, was es mit dieser Fehlermeldung auf sich hat - und wie ich diese abstellen kann?
Danke Euch

 

[Fusion]

Rsync erstellt zuerst eine Liste aller Dateiänderungen und führt diese dann im zweiten Schritt durch.
Der Fehler sagt nichts, als dass eine zum Transfer markierte Datei zum eigentlichen Transfer Zeitpunkt nicht mehr vorhanden war. Entweder eine temporäre Datei von ecomailz oder direkt/indirekt gelöscht durch Clientinteraktion.

Solange er die Sicherung trotzdem fertig macht finde ich das ok. Andernfalls müsstest du dafür sorgen, dass während der Sicherung keine Schreib/Löschzugriffe stattfinden, oder die Sicherung von einem snapshot machen anstatt vom live-System oder ähnlich.

 

[servilianus]

Aha, danke für die Aufklärung. Jetzt wird mir das klarer. Die Sicherung eines Snapshots statt vom Live-System ist natürlich auch eine elegante Möglichkeit. Werde ich testen

 

[DS213+]

So das erste Backup ist durch. 700 GB verschlüsselt ca. 13h bei halber Prozessorauslastung + 2,3 TB unverschlüsselt ca. 23h bei voller Prozessorauslastung. Alles problemlos auf einer DS213+. Vielen Dank!
Frage aus Interesse: Ginge das mit einer aktuellen z. B. DS218+ schneller?

 

[Fusion]

Vielleicht kann ja jemand reale Messwerte beisteuern.
Abgeschätzt hätte ich gesagt wirst du bei unverschlüsselt noch minimal schneller, und bei verschlüsselt wirst du denke noch ein Stück näher an den unverschlüsselten Durchsatz kommen, also vielleicht Richtung 10h für 700GB.
Kann mich jedenfalls nicht entsinnen mal was gesehen zu haben was über ca. 30MB/s pro Thread hinaus gegangen ist.

 

[DS213+]

Unverschlüsselt hatte ich die 30 MB/s auch, verschlüsselt ca. 18 MB/s. Wo ich etwas erschrocken war, dass bei "alle Aufträge starten" beide gleichzeitig losgehen. Ich hatte mit nacheinander gerechnet. Habe ich dann gestoppt und noch mal einzeln gestartet.

 

[Fusion]

Warum, dafür gibt es doch Mehrkernprozessoren, dass man Dinge parallel laufen lassen kann. Ist nur die Frage, ob man die Backups mit möglichst wenig Last laufen haben will oder nicht.

 

[DS213+]

Ich dachte wegen der Ordnung im Dateisystem . Ist ja eine Festplatte und keine SSD. Kann aber ach falsch sein.

 

[Huibuu]

Hey ihr fleißigen Programmierer und Wissenden!
Ich bin gerade in einer Denk/Test/Recherchier-Phase wie ich eine zukünftige Datensicherung übers Internet bewerkstellige.
Dabei wollte ich auch unbedingt mal UB mit einbeziehen, welches ich bereits intern ausprobiert habe. Um nun eine abschließende Entscheidung zwischen HB und UB zu treffen, muss ich euch aber leider mal mit ein paar Fragen belästigen, auch weil mir das Thema Schutz vor Ramsoftware und Datenschutz generell wichtig ist und in die Überlegung einbeziehen werden soll. Ich habe diese 2xx Seiten Thread nicht vollständig gelesen, sondern vieles überflogen. Also seht es mir bitte nach, wenn ihr auf die eine oder andere Frage bereits eingegangen seid. Ich muss mir die Zeit für das Projekt schwer von der Zeit mit der Familie erkaufen.

Ich möchte in zwei Haushalten je eine DS installieren und diese über Kreuz sichern und hier einen möglichst großen Datenschutz haben. Daher sollen die DS auch grundsätzlich nicht selbst im Netz sein oder ansprechbar sein, sondern die Verbindung wird über die Router (VPN) hergestellt. "Onlinedienste" wie Photo oder Filestation werden nicht im Internet verfügbar gemacht.
Das ist die Ausgangslage, nun zu den Fragen

1. Habt ihr über die Hilfe im Programm selbst und die zwei Tutorials auf Youtube noch weitere Anleitungen oder Hilfen geschrieben?

2. UB funktioniert auch, wenn man die Verbindung zwischen den DS über VPN der Router (FritzBox) herstellt?

3. Kann sich die Ramsoftware über den SSH Zugang auf die zweite DS ausbreiten, weil ja gegenseitige Berechtigung für das „Holen von Daten“ in den DS vorliegen?

4. Wo ist es möglich einzelne Versionen vor dem dauerhaften löschen zu bewahren?

5. Kann die Rotation auch so eingestellt werden wie bei HB (z.B. behalte wenige Versionen von vor einem Jahr, jeden Monat eine aus diesem Jahr, täglich im laufenden Monat)

6. Macht man ein Backup von einem infizierten System (Ramsoftware oder Virus), sind dann auch alle Versionen der Dateien infiziert oder bleiben die „Vorversionen“ davor unberührt?

7. Wenn ich eine Sicherung via externer Festplatte am jeweiligen Backupserver von den UB Daten vornehme, kann ich dann einfach eine 1zu1 Kopie des gesamten Sicherungsordners vornehmen (zur Erhaltung der Versionen) bzw. einzelne Versionsorders den ich sichern möchte? Wie geht ihr da ggf. vor?

8. Wie steht es um die Prüf-/Backupgeschwindigkeit im Vergleich zu HB? Meine DS hat zuletzt bei HB 30min bis zu 2 Std. gebraucht, um Festzustellen, dass sich in einem ca. 1,5 TB Datenbestand nur minimalste Veränderungen ergeben haben?

9. Gibt es Lösungen zur Wiederherstellung des UB, wenn man Veränderungen am Produktiv- oder Backupserver (Tausch Platte oder ganze DS) vornimmt? Kann die Versionierung und der „Job“ als solcher übernommen werden?


Wahrscheinlich erkennt ihr, dass ich nicht vom Fach bin und daher wäre ich um möglichst einfache Begrifflichkeiten dankbar

Vorab schon einmal vielen Dank für eure Zeit und eure Antworten
Huibuu


Nachtrag zur Testreihe/ Problem:
Eben wollte ich die von UB gesicherten Daten überprüfen und stelle fest, dass die Versionen, die gestern Abend geschrieben wurden allesamt nicht mehr vorhanden sind. Auch eine eben durchgeführte Sicherung hat die Version zuvor existierende Version gelöscht.
Eine eigentlich automatisch durchzuführende Sicherung heute früh ist ebenfalls nicht durchgeführt worden. Das Problem sitzt natürlich hinter dem PC, aber in den Allgemeinen Einstellung des "Jobs" steht bei Anzahl der Version 200 und der Zeitplan war auf täglich 2h eingestellt!?
Das Proggi will also nicht so wie ich !?

 

[SynKlaus]

Hallo,

nur kurze Frage. Es gab eine Möglichkeit die SSH-Übertragungsverschlüsselung zu deaktivieren. Dazu musste man manuell im Backup-Script eine Anpassung machen. Ich finde diese Anleitung aber nicht mehr. Kann mir jemand auf die Sprünge helfen? Hintergrund ist, dass ich ein Backup neu anlegen muss und dabei handelt es sich um über 1TB an Daten und da mein Backupziel eine altersschwache DS212+ ist, dauert das mit SSH-Verschlüsselung ansonsten Tage.

Grüße Synklaus

 

[SynKlaus]

Habe folgendes hier im Thread gefunden:

"-T -c arcfour -o Compression=no -x"

Ich habe die Parameter mal überprüft und das sollte auch für mich passen. Das sind Parameter für SSH. Nun muss ich nur noch finden, wo ich die am besten im Backup-Script integriere.

Grüße Synklaus

 

[Orm Tostesson]

Externes Backup ohne Berechtigung

Hallo,

vielen Dank für die Arbeit an Ultimate Backup. Hat für mich bisher hervorragend funktioniert. Ursprünglich stand ich vor dem Problem, dass ich in meinem Datenbestand noch Dateien von anno 1989 aufwärts habe, die auf damaligen Applerechnern erzeugt wurden und die die unmöglichsten Sonderzeichen in Dateinamen verwenden, außerdem jede Menge Schriftarten, die unbrauchbar werden, wenn die Ressourceforks fehlen. Mit DSM-Bordmitteln war da nichts zu machen. USB-Copy und FM habenn einfach irgendwann mit Fehler abgebrochen. Nach 17h Kopiervorgang... Ich habe es nach einiger Recherche dann mittels manuellem RSync über Terminal von interner Festplatte meines Macs zu gemountetem SMB-Volumen von der DS und --iconv=utf-8-mac,utf-8 -Option doch geschafft, die Daten einwandfrei auf die DS zu bekommen. Über SSH gab es auch hier wieder nur Zeichensalat auf dem Ziel-Volumen. Mittels Ultimate Backup habe ich dann von diesen Daten ein Backup auf Volume 2 erstellt. Das hat auch auf Anhieb einwandfrei und 1:1 geklappt.

Nun aber zum Problem: Ich möchte nun auch ein externes Backup von dem Datenbestand auf Volume 1 erzeugen. Der Inhalt dieses Backup soll auch von OS X lese/schreibbar sein. Hierfür habe ich eine USB-HDD mit HFS+ (ohne Journaling) formatiert. Das Kopieren über das RSync-Script funktioniert auch einwandfrei, nur leider habe ich am Mac keine Zugriffsrechte auf die Ordner. Selbst mit einem User auf meinem Mac, der mit Namen und Passwort identisch zum DSM-Benutzeraccount ist. Gut, ich kann das am Mac korrigieren, in dem ich die Berechtigungen für das Laufwerk ändere. Aber beim nächsten Backup wären die Berechtigungen ja wieder gesetzt, das ist also keine Alternative.
Also was ich möchte ist ein inkrementelles Backup (Datei-Überspringen basiert auf Prüfsumme), Hard- und Symlinks möglichst erhalten, Ausführbarkeit/Ressourceforks erhalten, soweit irgendwie möglich Alles erhalten, AUSSER(!) die Berechtigungen.

Ich habe die Rsync Manpages jetzt bestimmt 20mal gelesen und auch schon im Vorfeld reichlich damit experimentiert, aber aus den Schaltern werde ich nicht so recht schlau. Viele Optionen haben bei mir lokal im Terminal nicht direkt funktioniert, manche scheinen sich gegenseitig auszuschließen etc. Z.B. soll die Option "-a" rlptgoD beeinhalten. Aber was ist mit -u, -c oder -E? Ich würde davon ausgehen, dass die ebenfalls in option -a enthalten sein müssten, weiss es aber nicht. Es hat keinen Unterschied gemacht diese zu setzen oder nicht. Es mag auch daran liegen, dass meine RSync-Version auf dem Mac vom Source kompiliert wurde und ich in Sachen Unix maximal über Basiswissen verfüge...

Bisher hatte ich folgende Schalter in Ultimate Backup (für mein internes Backup) angegeben: -ahRE. Welche Optionen würden zu dem von mir oben beschriebenen Ergebnis führen (also im Prinzip das Selbe OHNE Berechtigungen)? Oder würde es Sinn machen ans Ende des Skriptes irgendwas mit CHOWN manuell rein zu editieren?

Danke schonmal für jegliche Hilfestellung.

P.S: Bin mir bewusst, dass ich bei einem Restore von Extern dann die Berechtigungen verlieren würde, aber das wäre nicht so dramatisch. Wichtig wäre eben auf den Inhalt zugreifen zu können, unabhängig davon wo die ext. Platte angehängt wird.

--
Synology DS 218+, DSM 6.2.3-25423, Ultimate Backup 1.3.4

 

[tdse]

Ich versuche ein Backup von einem Ordner auf einen anderen Ordner, der von der Fritzbox auf die DS gemounted ist, zu erstellen. Neben der Fehlermeldung 23 am Ende (es fehlen 2 Dateien) ist mein Hauptproblem, daß Ultimate Backup immer ein neues Verzeichnis erstellt anstatt das ausgewählte zu nehmen. Der ausgewählte Zielpfad ist /volume1/homes/plex/Backup/Musik, aber der tatsächliche Pfad ist /volume1/homes/plex/Backup/Musik/Musik.

Hier die Zusammenfassung:
Number of files: 10600
Number of files transferred: 9532
Total file size: 189584196426 bytes
Total transferred file size: 189584187822 bytes
Literal data: 189584187822 bytes
Matched data: 0 bytes
File list size: 376904
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 189608104359
Total bytes received: 185384

sent 189608104359 bytes received 185384 bytes 12933275.79 bytes/sec
total size is 189584196426 speedup is 1.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1355) [sender=3.0.9]
/volume1/homes/plex/Musik - RSync-Code 23
------------------------------------------------------------------------------------------------
RSync Fehlermeldung (Exit Code): 23
------------------------------------------------------------------------------------------------

RSync-Datensicherung fehlgeschlagen - Sicherungsziel: /volume1/homes/plex/Backup/Musik
------------------------------------------------------------------------------------------------

Was mache ich falsch oder wie kann ich mein Ziel erreichen, ein Backup eines Ordners auf einen gemounteten Ordner zu erstellen?

 

[918dub]

Ich möchte mit Ultimate Backup verschlüsselte Quell-Ordner sichern. Kann mir jemand auf die Sprünge helfen? Ich dachte ich hab gelesen, das sei möglich, jedoch finde ich in der Hilfe und im GUI keine weiteren Hinweise darauf. Gibts denn die Möglichkeit auch ein Script vor und/oder nach dem eigentlichen Backup-Script zu triggern? So könnte ich die entsprechenden Encrypted-Folders von meinem Backup-NAS auf dem Quell-NAS unverschlüsselt mounten.

Danke für jeden Hinweis zu diesem Thema!

 

[Ha34Meiner]

Ich nun auch mal wieder ;-) Dachte ich wüßte alles.

Ich habe bis jetzt immer eine Backup Festplatte auf der Arbeit gelagert und nun dachte ich: Hey, was passiert, wenn ich tödlich verunglücke...? Dann kommen ja alle an meine Daten ;-)

Nun wollte ich also mein Backup zum ersten mal verschlüsseln. Dies funktioniert leider nicht. Ich bekomme immer einen 35 MB Bericht mit dem Hinweis
error (5)
rsync: failed to set times on
"/volumeUSB1/usbshare/BackupDS/volume1/...

Input/output error (5)
rsync: failed to set times on

Was müssen wir hier einstellen?

 

[PsychoHH]

Was für ein Dateiformat nutzt du auf der externen?

 

[Ha34Meiner]

Das sage ich jetzt nicht ;-)) Das ist sicher der Fehler..... *LACH*

NTFS weil es eine 2 TB Festplatte ist...

 

[Toby-ch]

Syripte einfügen

Hallo zusammen

Ich hatte eine DS 1815+ & DX513( Vol9) Dies wich nun einer DS1819+ Leider ohne DX513 die hängt jetzt an der DS1618+.

Nun habe ich ja noch backup Scripte die ich gerne wieder beleben möchte, wie kann ich die wieder einfügen?

Auf der DS1819+ sind sie im Zeitplaner noch vorhanden, jedoch stimmt der Pfad nicht mehr. Volumen9 hängt jetzt an der DS1618+


Besten dank

hat sich erledigt ich hab es gefunden

 

[PsychoHH]

Das sage ich jetzt nicht ;-)) Das ist sicher der Fehler..... *LACH*

NTFS weil es eine 2 TB Festplatte ist...

Alles gut, sollte gehen.

Pack mal einfach ein O in die Syncopts.