Ultimate Backup Ultimate Backup

[XerXes777]

Der Absolute HAMMER !!!!!!!!!!!
Habe meine ganze NAS knappe 5,4 TB auf einer 6 TB externen HDD gesichert. Ohne Verschlüsselung. Direkt auf einer NTFS HDD.
So dass ich immer auf das Backup ohne Third-Party-Software darauf zugreifen kann.

Eine wichtige Frage habe ich ?

Wo ist der Paypal Donate Button ???

 

[Tommes]

Dein Dank ist der Lohn unserer Arbeit!

 

[PsychoHH]

Wooooooho, dass sind endlich mal Datenmengen

Cool von dir mit deiner wichtigen Frage.
Aber wie Tommes sagt, der Dank langt

 

[freddiek]

Hallo Psycho und Tommes,

danke für das SUPER Tool
kann zwar nicht mit der Datenmenge von meinem Vorredner mithalten, noch nicht,
aber auch bei mir läuft alles zuverlässig und schnell.
Daheim sichert das Tool fleißig 4TB.

Im Geschäft läuft noch eine recht frühe Version vom euren Script (alles noch händisch angepasst) und sie läuft wirklich gut
Ich wollte auch dort auf die neuste Version des Ultimate Backups umsteigen, habe aber kein Internetzugang und muss dementsprechend alle Pakete manuell installieren.

Meine Frage:
Gibt es irgenwo im Netz eine Quelle, wo ich das neuste Paket immer herunterladen kann?

Noch mal vielen hezlichen Dank für die tolle Arbeit !!!

Schöne Grüße
freddiek

 

[dil88]

Beim Community-Package-Hub (https://www.cphub.net/). Im Wiki gibts übrigens diese Liste mit Paketquellen und Paketen.

 

[freddiek]

Danke dil88

hat bestens funktioniert,
jetzt rennt auch die Kiste im Geschäft mit der neusten Version des Skripts


Kleine Bemerkung:
@Psycho und Tommes

Im Reiter Hilfe unter dem Punkt 3.3 Ausführung über den DSM-Aufgabenplaner ist die Befehlszeile für die DSM6 dargestellt.

Ich bin mit DSM5.2 unterwegs und wenn ich das Skript über den Aufgabenplaner starten will, muss die Befehlszeile so angepasst werden:
sh /usr/syno/synoman/webman/3rdparty/UltimateBackup/shell_scripts/start.sh auto

Das könnte man vielleicht für alle DSM5 Nutzer ergänzen, bevor sie sich wundern, warum es nicht funktioniert (so wie ich )

Ansonsten Danke an alle und schönen Gruß
freddiek

 

[PsychoHH]

Ach das kann sein, dass die Hilfe so ist. Schauen wir uns mal an. Evtl wird sich aber auch bald ein wenig was ändern, wenn alles so weiter geht wie bisher.

 

[XerXes777]

Habe nach erfolgreichem ersten Backup von ca 5,4 TB noch ein paar mal rumgespielt. Logfile war ca. 60mb groß cO
Habe auf der NAS selbst den Inhalt eines Ordners komplett gelöscht und auch auf der Backup HDD.
Danach habe ich den Ordner auf der NAS wieder mit ca 20.000 neuen Daten gefüllt. Anschließend Backup gemacht. Alles OK.
Habe auf einer 2ten Backup HDD mein Time Maschine Backup von meinem Apple gesichert (400GB). Alles OK.
Das Script ist NICHT klein zu bekommen. Läuft sehr zuverlässig.
Habe das Script auf der Backup HDD mit Autorun am laufen. Festplatte an Lampe von der NAS leuchtet Orange und sie Piept einmal. --> Backup läuft. Wenn fertig wirft die NAS die Backup HDD auto. raus.
Alles im ganzen bin ich sehr zufrieden !!!! Vielen Dank für diese Super Programm !!!!

Da schleicht sich mir eine Frage ein:
Was macht das Script, wenn die Backup HDD voll wird ?

 

[PsychoHH]

Habe nach erfolgreichem ersten Backup von ca 5,4 TB noch ein paar mal rumgespielt. Logfile war ca. 60mb groß cO
Das Script ist NICHT klein zu bekommen. Läuft sehr zuverlässig.
Habe das Script auf der Backup HDD mit Autorun am laufen. Festplatte an Lampe von der NAS leuchtet Orange und sie Piept einmal. --> Backup läuft. Wenn fertig wirft die NAS die Backup HDD auto. raus.
Alles im ganzen bin ich sehr zufrieden !!!! Vielen Dank für diese Super Programm !!!!

Da schleicht sich mir eine Frage ein:
Was macht das Script, wenn die Backup HDD voll wird ?

Hast dann bestimmt mal das komplette Log schreiben lassen, waren dann wahrscheinlich ein paar Zeilen mehr.
Im Normalen Durchgang werden aber nicht alle kopierten Dateien ins Log geschrieben, somit sind die Logs im Normalfall sehr klein.

So soll es sein.

Wenn die Platte voll ist mh .. gute Frage. Meine war noch nicht voll.
Leider habe ich meine DS auch noch wieder hier, sodass ich dies nun nicht testen kann.
Ich habe auch schon mal überlegt ob ich vor Ausführung checke wie groß das Backup wird und wird viel Platz noch auf der Platte frei ist, wenn zu wenig soll es eine Meldung geben.

Derzeit gehe ich aber einfach davon aus, dass rsync alles kopiert was geht und es dann einen Fehler gibt.
Wer eine Platte schon mal vollbekommen hat kann ja gerne mehr dazu sagen.

Ach, ich schau nachher mal auf der DS212j und kopiere es in einen kleinen Ordner mit Quota mal schauen was dann passiert.


Ein kleiner Fehler ist mir eben eh im Script noch aufgefallen, ist aber nichts problematisches, habe nur mal eine Zahl vertauscht, in dem Fall betrifft es nur Pushbullet und es gibt eine Fehlermeldung in der Konsole. Also alles halbsowild wird aber bald gefixt.

 

[XerXes777]

Ich habe auch schon mal überlegt ob ich vor Ausführung checke wie groß das Backup wird und wird viel Platz noch auf der Platte frei ist, wenn zu wenig soll es eine Meldung geben.

Derzeit gehe ich aber einfach davon aus, dass rsync alles kopiert was geht und es dann einen Fehler gibt.
Wer eine Platte schon mal vollbekommen hat kann ja gerne mehr dazu sagen.

Ach, ich schau nachher mal auf der DS212j und kopiere es in einen kleinen Ordner mit Quota mal schauen was dann passiert.

Wenn ich Idee dazu beibringen darf:
Das mit vorher Überprüfen klingt sehr gut. Verlängert zwar die Dauer des Backups, aber das ist ja zweitrangig.
Aber ein Abbruch, wäre ja Konsequent. Besser wäre ja, dass das Script trotzdem das Backup macht.
Und Ordner für Ordner durch arbeitet. Bis die Festplatte voll ist.
Und man den einen Hinweis bekommt, das folgende Ordner nicht gemacht wurden sind, aus Platz gründen. Und zusätzlich eine Auflistung im LOG.
Ganz nach den Motte jedes Byte was noch gemacht werden konnte ist wertvoll.

Bin kein Programmierer und kann mir den Umfang nicht vorstellen, um dies zu ermöglichen. Aber vielleicht kann ich so was dazu beitragen.

Mit freundlichen Grüßen

Kevin

 

[CrimsonGlory]

@PsychoHH Ist es möglich das Script auch zu stoppen?
Hab mal was Falsch eingestellt und der ist halt mal eine Std. gelaufen.
Wäre schön wenn ich den abbrechen könnte.
Nur mal so als Frage.

 

[dil88]

Das würde ich per Shell machen mit dem kill Befehl.

 

[PsychoHH]

Das mit vorher Überprüfen klingt sehr gut. Verlängert zwar die Dauer des Backups, aber das ist ja zweitrangig.
Besser wäre ja, dass das Script trotzdem das Backup macht.
Und Ordner für Ordner durch arbeitet. Bis die Festplatte voll ist.
Und zusätzlich eine Auflistung im LOG.
Ganz nach den Motte jedes Byte was noch gemacht werden konnte ist wertvoll.

Eine Überprüfung vorher dürfte ziemlich schnell gehen, dran soll es nicht liegen.
Allerdings müsste man alle Werte zusammenfassen und dann auswerten.

Ich gehe mal davon aus, dass es soviel wie Möglich kopiert und dann auch eine Meldung erscheint.
Theoretisch könnte man auch beim starten/beenden die DS 2-3x piepen lassen wenn weniger als x Speicher frei ist.

Ich werde aber mal schauen wie es derzeit ist.


Stoppen wie gesagt von dil88 derzeit nur per kill

 

[Krisslinger]

Geschwindigkeit von rsync via USB 3.0

Hallo zusammen,

erstmal danke für Ultimate Backup, funktioniert sehr gut. Ich habe eine Frage zur Geschwindigkeit und dazu leider in diesem Beitrag (via Suchfunktion) nichts gefunden.

Nach mehreren Testläufen habe ich heute Nacht mal ein Backup auf eine frisch formatierte WD Elements Desktop mit 4TB via USB3.0 gemacht. Der initiale Job war nach ca. 11,5 Stunden durch und hat dabei ca. 1,6 TB gesichert, das sind ca. 43MB/s.

Theoretisch sollte via USB 3.0 ein bisschen mehr drin sein, oder? Ich weiß, es ist abhängig davon, ob es viele kleine oder wenige große Dateien sind. Aktuell lass ich noch einen weiteren Backupjob in vergleichbarer Größe laufen, allerdings mit weniger als 1000 Film-Dateien, theoretisch sollte da die Geschwindigkeit ja höher sein. Laut Ressourcen-Monitor ist sie das auch, wenn auch nur minimal. Die Geschwindigkeit schwankt zwischen 10 und 60MB/s.

Hat das mit rsync zu tun? Wäre ein einfacher Transfer via File Station (für Backup natürlich nicht geeignet) schneller? Ich wills eigentlich nur wissen, an was das liegt. Wenn der zweite Job durch ist, ist eh alles initial gesichert und dann reden wir von wesentlich kleineren Datenmengen für zukünftige Backups.

Danke schonmal

 

[dil88]

Ich nutze fast das gleiche Equipment und bekomme in der Spitze 100 MB/s, allerdings mit Datensicherung und Replikation, was unter DSM 6.0 jetzt "Lokale Datenkopie" heißt. Hast Du das schon 'mal ausprobiert?

Wie schnell ist die DS denn vom Rechner aus?

 

[Krisslinger]

Was meinst du mit "Wie schnell ist die DS vom Rechner aus?" Upload/Download von Dateien via Finder auf die DS?

Datensicherung und Replikation hab ich noch nicht ausprobiert, ebenso wie das direkte kopieren von mehreren Dateien via File Station. Ich werd das alles mal probieren, sobald der aktuelle Job abgeschlossen ist. Das wird aber noch ca. 4-5 Stunden dauern. Ich habe es eben mal hochgerechnet, aktuell sind wir bei Transferraten von knapp unter 50 MB/s. Besser, aber weit weg von dem was möglich ist.

Ich werde weiter berichten. Danke schonmal für das Feedback.

 

[PsychoHH]

Einfach mal testen wie die Rate beim kopieren direkt auf die externe ist.
Kann gerade auch nicht gegentesten

 

[Krisslinger]

So, bitte entschuldigt die späte Rückmeldung, waren außer Haus. So lange wir weg waren, wurde das Backup des Filmeverzeichnis auch abgeschlossen. Laut Protokoll waren es 1550 GB mit einem Speed von 53,3 MB/s Ein bisschen besser, aber immer noch (zu) langsam, zumindest theoretisch.

Ich habe mal noch ein paar weitere Tests gemacht, teilweise enttäuschend, vielleicht helfen die ja aber weiter, das Problem zu lösen:

Es wurde immer die selbe MKV-Datei mit 6,38 GB verwendet.

• NAS (intern), kopieren via File Station: ca. 57 MB/s
• NAS auf USB 3.0 (EXT4) via Datensicherung und Replikation: ca. 80 MB/s
• NAS auf USB 3.0 (EXT4) via File Station: ca. 84 MB/s
• NAS auf HDD (MacMini, SMB) via GBit Ethernet: ca. 28 MB/s
• HDD (MacMini, SMB) auf NAS via GBit Ethernet: ca. 21 MB/s
• USB 3.0 (Mac OS Extended (Journaled)) auf HDD (MacMini): ca. 145 MB/s
• HDD (MacMini) auf USB 3.0 (Mac OS Extended (Journaled)): ca. 145 MB/s

Ausstattung der einzelnen Geräte:

• NAS: 2x WD Green 5TB (SHR, EXT4)
• 2x USB 3.0: WD Green 4TB (EXT4/Mac OS Extended (Journaled))
• HDD (MacMini): Fusiondrive (Crucial MX100 256GB SSD & Apple 1 TB HDD)

Was meint ihr? Einige Zahlen davon sehen ziemlich merkwürdig aus, oder? Intern sowie via LAN sind echt schräg. Und wenn man sieht, dass die USB 3.0 Platte theoretisch 145 MB/s kann, sind die restlichen Werte leider auch bescheiden, aber zumindest in der Nähe von den erwähnten 100MB/s.

 

[dil88]

Die Backup-Speed ist für ein rsync-Skript ok. Ich nutze selbst eins, was auch bei mir langsamer ist als Datensicherung & Replikation - warum auch immer. An Deiner Stelle würde ich mich eher mit den Transferraten von und zum MacMini beschäftigen. Kann der nicht schneller oder stimmt da etwas mit der Konfiguration nicht? Hast Du noch einen anderen Rechner, um die Transfergeschwindigkeit zu testen?

Edit: Wir sollten das Thema allerdings besser in einem neuen Thread fortführen, denn das ist hier off-topic.

 

[PsychoHH]

Alles gut.

Deine Werte per GBit LAN sind aber echt sehr gering.
Vielleicht mal das Kabel tauschen.

Sonst sind die Werte ganz okay. Intern kriegst du wohl nicht mehr Speed hin.

Ich weiß nicht ob so mehr Speed mit rsync möglich ist.
Was man mal testen kann ist mehrere Scripte gleichzeitig ausführen und die Quellen aufteilen.

Evtl kann ich auch pro Quelle in der Schleife ein rsync Prozess starten und im Hintergrund laufen lassen. Problem wäre dann nur, dass das Log durcheinander wäre also muss dies in verschiedene Dateien und danach zusammengesetzt werden.

Vielleicht kann man auch dem Prozess mehrere Threads zuweisen. Irgendwo hab ich mal was gelesen, zwecks parallele rsync Ausführung wo mehr als 200mb/s drin war. Das wird mit der DS zwar nicht ganz was aber ich schaue die Tage mal ob ich das finde.

Leider hab ich meine DS noch nicht wieder hier um das zu testen so ein mist.

Am Ende zählt aber wie immer nur die Zuverlässigkeit.