Nochmals etwas zu den externen USB3 - Festplatten... und dann zurück zu "Hyper Backup" und dessen Geschwindigkeiten... (Bezug: meine Posts ab #119)
Nach dem die zweite WD Elements 4 TB (wegen des Fehlers) zurück ging, habe ich mich für eine Seagate Expansion 4 TB entschlossen. Sie sollte laut auffindbarer Infos schneller als die WDs sein (~85 MB/s : ~110 MB/s).
Da ich - wie ich nun weiß, fälschlicherweise - davon ausging, dass die Performance der USB-Festplatten das Nadelöhr bzgl. unerträglich langsamen Hyper Backup darstellten, weil deren Auslastung bei 100% lag und trotzdem nur ~10 MB/s geschrieben wurden, war ich auch von der Seagate enttäuscht. Zwar etwas schneller, aber auch diese Festplatte zeigte Bekanntes: schneller Start mit Schreibraten von ~80 - 90 MB/s und mit fortschreitendem Backup von ~2,5 TB (über 95% große Backup-Dateien (Voll- und Inkremental-Sicherungen)) dann Schreibraten von ~10MB/s bei ebenfalls 100%iger Auslastung der Festplatte.
Nach rund 30 Stunden und 89% fertig - wobei kaum ein Fortschritt zu erkennen war - brach ich das Hyper Backup "Lokaler Ordner und USB" ab, löschte den Job inkl. der gesicherten Daten und setzte ein Hyper Backup "Lokaler Ordner und USB (Einzelversion)" neu auf...
... und Überraschung: die ~2,5 TB waren nach nicht einmal 9 Stunden komplett gesichert! Und am Beispiel des in Post #119 gezeigten Diagramms lag die Schreibrate nun nicht bei ~10 MB/s (roter Rahmen) sondern eher bei 90 MB/s (grüner Rahmen).
Fazit: Es war nicht das Problem der externen USB3-Festplatten, sondern ist ein eventuelles Problem des 'Hyper Backup "Lokaler Ordner und USB"'.
Natürlich ist festzuhalten, dass nach Ablauf des ersten Backups auch unter "Lokaler Ordner und USB" die weiteren Backups i.d.R. weit weniger Zeit beanspruchen und das Sicherungsergebnis von "Lokaler Ordner und USB" beispielsweise mit dem "Hyper Backup Explorer" (Windows) eingesehen werden kann, eine Versionierung und Verifikation von Backups zur Verfügung stehen usw.
Während "Lokaler Ordner und USB (Einzelversion)" eines verschlüsselten Ordners Dateien im eCryptfs-Format speichert und diese ggf. extern per Linux entschlüsselt werden müssen, falls - im Notfall - die DS nicht mehr zur Verfügung steht.
Da hier mehrfach die Frage, warum denn Hyper Backup so langsam sei, aufgeworfen und belegt wurde, will ich mal folgende These aufstellen:
Bei der Sicherung ("Lokaler Ordner und USB") schreibt Hyper Backup nicht kontinuierlich die zu sichernde Datei selbst, sondern legt gleichzeitig (auf dem Sicherungsziel) Informationen zu dieser Datei an. Diese Informationen dienen u.a. dem Zweck bei späteren Sicherungen nicht mehr die komplette Datei sichern zu müssen, sondern lediglich die Blöcke der Datei, die sich tatsächlich geändert haben. Denn warum sollte z.B. eine große Datei von mehren MBytes/GBytes komplett mehrmals als Sicherung vorgehalten werden, wenn sich jeweils nur wenige Bytes geändert haben? Dass ein solcher Mechanismus der vermutlich eine blockweise Prüfung der Datei mittels zuvor (bei der Sicherung) ermittelter blockweiser Daten vornimmt, einiges an Verwaltungsaufwand bedeutet, ist klar.
Vermutlich sichert diese (blockweisen) Daten Hyper Backup ("Lokaler Ordner und USB") parallel zur eigentlichen Sicherung der Datei; was evtl. Sinn macht, weil das Backup unterbrochen werden könnte. Mit der nun aber nicht mehr kontinuierlichen Sicherung der eigentlichen Datei, werden zusätzlich zum Verwaltungsaufwand (CPU-Last) auch zusätzliche (zwischenzeitliche) Schreibvorgange auf der Zielfestplatte für diese Info-Daten nötig.
Je nach Organisation der 'Informations-Datenbank' ließe sich auch die zunehmend langsamere Schreibperformance auf der Ziel-Festplatte erklären, u.a. weil diese Datenbank immer größer wird, neue Daten angehängt werden müssen, ...
Zugegeben, nur eine These. Aber wer sich in der DS / DSM besser auskennt als ich, könnte evtl. mal aufzeichnen, welche Dateien / Dateifragmente in welcher Reihenfolge auf das Ziel geschrieben werden. So könnten sowohl die mangelnde Schreibperformance als auch die nahezu 100%ige Auslastung des Zieldatenträgers geklärt werden. Oder?
Offen ist allerdings, warum ich mit den kleineren WD Elements o.g. Performance-Probleme nicht hatte bzw. habe; gerade weil ich hier sehr viel mehr und kleinere Dateien sichere!?
Ich glaube, damit ist das Thema für mich zunächst erledigt.
Ob für mich die Hyper Backup – Sicherung "Lokaler Ordner und USB (Einzelversion)" der Weisheit letzter Schluss ist, weiß ich allerdings noch nicht. Weil zumindest meine Backups verschlüsselt und bereits versioniert sind, lege ich eigentlich nur Wert auf eine 1:1 – Kopie; d.h. meine Backup-Files ändern sich i.d.R. nicht, weshalb sie nicht neu zu sichern sind, aber alte Backup-Files die konsolidiert / gelöscht wurden, sollten auch aus der Sicherung auf der USB-Festplatte herausfallen (damit diese nicht irgendwann voll läuft).
In wie weit meine diesbezüglichen Wünsche derzeit erfüllt werden, muss sich erst noch zeigen.
Eigentlich sollte ein ‚rsync’-Mechanismus o.ä. passen!?
In diesem Sinne.
Mit heutigem Wissen scheint für eine Sicherung eines NAS durchaus ein zweites (1-Bay) NAS und Sicherung über eine Netzwerkverbindung die bessere Lösung zu sein (ohne zu wissen, welche Performance-Probleme dabei evtl. auftreten
.
