Versioniertes Backup zwischen zwei lokal verbundenen DS aber schneller als Hyper Backup? Gibt es das?

[PlexUser]

Für ein versioniertes Backup einer DS920+ auf eine lokal verbundene DS1813+ würde ich ansich sehr gerne HyperBackup nutzen. Mich stört aber insbesondere bei der Wiederherstellung, dass damit nur geringe Geschwindigkeiten erreicht werden und das 1Gbit-Lan nur zu einem Bruchteil (klar unter 50%) ausgelastet wird, von der Auslastung bei später geplanter Link Aggregation sicher ganz zu schweigen. Die Auslastung von CPU, Speicher, Festplatten und Volumes beider "+" Systeme bleibt dabei dauerhaft unter 50% (durchschnittlich nur so 15% Auslastung). Verschlüsselung oder Kompression wurden auch nicht verwendet, die allermeisten Dateien sind zudem über 1GB groß.
Daher dachte ich: ok es fehlt also etwas Parallelisierung um das LAN bestmöglich auszulasten. Dazu wollte ich dann das Backup (und später die Wiederherstellung) auf mehrere HyperBackupJobs aufsplitten. Leider kann ich zwar die Jobs alle auf einmal starten, es entsteht jedoch eine Qeue und ausgeführt werden sie dann doch nacheinander...

Zweiter Test: Eine einzelne Ordnersynchronisierung per rsync war auch kaum schneller als HyperBackup.
Dritter Test: Drei Ordnersynchronisierungen zwischen Produktiv- und Backup-NAS eingerichtet und evoila: die laufen dann endlich parallel und erreichen gute 105 MB/s im Durchschnitt! Nachteil: ein wenig unübersichtliche Bastelei und eben leider nicht versioniert...

Frage: muss ich mich nun zwischen einem eleganten aber langsamen Backupsystem mit Versionierung und einer schnellen Bastelei ohne Versionierung entscheiden oder gibt es sowas wie HyperBackup in schnell, welches durch Parallelisierung die Ressourcen leistungsstärkerer DS auch ausnutzt? Gibt es irgendeine Möglichkeit Hyperbackup dazu zu bekommen mehrere Threads zu nutzen? Wozu haben die + Systeme denn bitte mehr Kerne, wenn die nicht genutzt werden?

Ultimate Backup bietet nicht das was ich suche und Active Backup scheint auf den ersten Blick auch was ganz anderes zu sein, oder?

 

[the other]

Moinsen,
Imho dient das inter-NAS Backup vor allem, um ein Backup außerhalb der Wohnung zu bekommen. Ich würde dazu raten, zusätzlich auch externe Festplatten zu verwenden. Von diesen würde ich dann auch idR eine Wiederherstellung machen. Wäre vermutlich deutlich schneller.

 

[PlexUser]

Naja ein Backup ohne Redundanz ist für mich kein Backup sondern ein Glücksspiel
Und mit einer einzelnen Platte komme ich ohnehin nicht hin. Wenn dann müsste ich da also ein DAS verwenden. Und ich hatte damals auch überlegt ein DAS statt einem NAS als Backup zu verwenden. Aber zum einen gibts von Synology offenbar keine DAS und zum anderen steht das Backup normalerweise auch räumlich getrennt bei einem Bekannten und wird nur für die größeren Updates, die ich nicht per DSL übertragen möchte oder für eine große Wiederherstellung ans LAN angeschlossen.
Ideal wäre quasi ein "DNAS" also ein storage, den ich sowohl direkt, als auch per Netzwerk anschliessen könnte. Aber sowas gibt es glaube ich noch nicht.

Ich bin mir auch nicht so sicher, ob das dann wirklich schneller gehen würde... Das Problem ist ja gerade, die Schnittstelle (das GB-Lan) nicht auslastet ist, bzw. eben nicht das Nadelöhr ist... Wenn das GB-Lan ausgelastet wäre, wäre ich ja voll und ganz zufrieden...

 

[the other]

Moinsen,
Naja, verschiedene Platten für verschiedene Ordner ist keine Lösung für deine Unmenge an Daten?
Redundanz ist für mich was anderes als Backup, daher ja auch der Hinweis, dass ein RAID / shr kein Backup ist.
Wenn beide NAS durchgängig online sind, wäre das für mich eh nix gescheites, schon wegen der crypto-malware Seuche...

 

[PlexUser]

Natürlich ist Redundanz etwas anderes als ein Backup... Aber neben sowohl galvanischer, netzwerktechnischer als auch räumlicher Trennung ist für mich eben auch Redundanz eine Mindestanforderung, die ein Backup erfüllen muss! Es muss halt einfach ausgeschlossen sein, dass sowohl Produktivsystem und Backup durch den selben Blitz, Brand, Hack oder Einbruch unnutzbar wird - ansonsten ist es für mich kein Backup sondern einfach nur eine Kopie bzw. Redundanz.
Und ebenso darf für mich der Totalverlust aller Daten eben nicht vom Funktionieren oder Ausfall einer einzelnen Platte des Backups abhängen. Ein Plattenausfall kann immer mal passieren und wenn man das Backup braucht, laufen die Backupplatten mehrere Tage unter Volllast - Einzelplatte oder Raid0 verbieten sich für mich daher bei Backups.
Natürlich bietet zwar egal welche Kopie auch einen gewissen Schutz vor Datenverlust, aber an ein echtes Backup stelle ich für persönlich, insbesondere wenn es um meine eigenen Daten geht die zuvor genannten Mindestanforderungen... Da hat halt nunmal jeder sein eigenes Sicherheitsbedürfnis, bezüglich wovor er seine Daten durch ein Backup schützen will.

Mehrere Einzelplatten wären halt auch wieder so eine Bastelei und es fehlt halt die Redundanz...

Wenn beide NAS durchgängig online sind, wäre das für mich eh nix gescheites, schon wegen der crypto-malware Seuche...

Mein Backupsystem ist auch nicht ständig online, das ist ja timebar..

Ansich bin ich halt mit der DS1813+ als Backupsystem sehr zufrieden, ich suche halt nur eine Backupsoftware mit Versionierung, welche die vorhandenen Ressourcen des Systems auch nutzt um wenigsten eine! der vier GB-Lan-Schnittstellen ganz gut auszulasten.
Vielleicht kennt da ja doch noch jemand eine Software, die das macht oder hätte eine Idee wo in meinem System noch irgendwo eine Bremse angezogen sein könnte - denn genau so kommt mit das vor, da alle Resourcen nur zu (teils ganz erheblich) unter 50% ausgelastet sind... Vielleicht gibts da ja z.B. irgendwo eine versteckte Einstellung um Hyperbackup oder das davon genutze rsync zur Verwendung mehrerer Threads zu bewegen...
Oder vielleicht hat jemand schon beobachten können, dass Hyperbackup dann unter DSM7 wesentlich schneller läuft, etc...

 

[NSFH]

Nicht die Auslastung des GBit LAN ist das Problem sondern die Rechenleistung aus einem in viele Blöcke und Versionen diversierten Backup eine wieder nutzbare Version herzustellen. Das sind keine 1:1 Kopien.
Also lebe mit den Einschränkungen, die ein Datenbank-Backup mit sich bringt oder nutze verschiedene 1:1 Kopien.

 

[TB-UB]

Weil ich auch an Versionierung stark interessiert bin, habe ich mein Vorgehen hier beschrieben:
nur-noch-eine-weitere-strategie-fuer-versionierung-im-backup-mit-rsync-und-cp-und-snapshot-replication
Evtl. kannst mit der Idee cp -al was für dich basteln.

ps: das mit dem "Dritter Test: Drei Ordnersynchronisierungen"... sind das 3 parallel/gleichzeitig laufende scripte mit rsync's?

 

[mamema]

ich wurde ja an anderer Stelle gebashed hier, aber ich nutz immer noch BackuPC mit Rsync und ISCSI Übertragung wegen der Blockstorage Übertragung. Full Backup 6 TB dauern ca. 10 Stunden zwischen zwei DS

 

[PlexUser]

Nicht die Auslastung des GBit LAN ist das Problem sondern die Rechenleistung aus einem in viele Blöcke und Versionen diversierten Backup eine wieder nutzbare Version herzustellen.

Naja bei unter 20% durchschnittlicher CPU-Auslastung, ist das so einfach nicht ganz richtig....
Das Problem ist halt dass bei 8 virtuellen Kernen nur 1 Thread genutzt wird. Das Problem ist halt weder die Schnittstelle, noch die Rechenleistung, sondern dass die Hardware nicht ausgelastet wird. Wie ja vermutlich die meisten mitbekommen haben, wurde bei der Hardware in mindestens den letzten 15 Jahren massiv parallelisiert und wenn dies bei der Software-Entwicklung ignoriert wird, werden eben 80% Systemleistung verschenkt.

Bei der normalen Ordnersynchronisation per rsync war es ja möglich das per Hand zu parallelisieren und dadurch das GB Lan auszulasten. Das Problem ist, dass man nicht 3 verschiedene Ordner durch 3 Hyperbackupjobs parallel sichern kann. Anders als bei der normalen Ordnersynchronisation fängt Synology das bei Hyperbackup ab und bildet eine Job-Queue die nacheinander abgearbeitet wird...

 

[PlexUser]

Weil ich auch an Versionierung stark interessiert bin, habe ich mein Vorgehen hier beschrieben:
nur-noch-eine-weitere-strategie-fuer-versionierung-im-backup-mit-rsync-und-cp-und-snapshot-replication
Evtl. kannst mit der Idee cp -al was für dich basteln.

Danke für den LInk.
Das würde vermutlich funktionieren.
Allerdings ist der Hauptgrund, dass ich mich für Synology entschieden habe, dass ich nicht basteln will und einfach alles funktioniert - ansich ist das ja auch der Fall
Nur habe ich im Moment echt den Eindruck, dass schlichtweg vergessen wurde Hyperbackup zu aktualisieren und daran anzupassen, dass auch Consumer-NAS inzwischen nicht mehr wie früher nur 1 oder 2 (virtuelle) Kerne haben, sondern 4 oder 8...

ps: das mit dem "Dritter Test: Drei Ordnersynchronisierungen"... sind das 3 parallel/gleichzeitig laufende scripte mit rsync's?

Da habe ich über "Systemsteuerung -> Synchronisation freigegebener Ordner " für drei Ordner, je eine Synchronisationsaufgabe erstellt und anders als die Hyperbackupjobs werde diese parallel abgearbeitet und dadurch dann das GBit-Lan sehr gut ausgelastet. Bei Link Aggregation könnte man mit 5-6 parallelen Jobs wohl auch die 2 GBit/s gut auslasten.

Deswegen ja die Frage, ob es da irgendwie so etwas wie ein Flag gibt, welches man nur setzen muss, wodurch dann einfach jeder rsync-Aufruf von sich aus mit mehreren Threads arbeiten... Das wäre natürlich ideal und ansich ist es ja eines der einfachsten Parallelisierungsziele überhaupt: das Abarbeiten einer am Anfang erstellten Liste von zu kopierenden Dateien parallel abzuarbeiten...

 

[PlexUser]

ich wurde ja an anderer Stelle gebashed hier, aber ich nutz immer noch BackuPC mit Rsync und ISCSI Übertragung wegen der Blockstorage Übertragung. Full Backup 6 TB dauern ca. 10 Stunden zwischen zwei DS

ok, das werde ich mir mal näher anschauen, schonmal gut zu wissen, dass es von der Geschwindigkeit her hinhaut.

 

[TB-UB]

ich wurde ja an anderer Stelle gebashed hier, aber ich nutz immer noch BackuPC mit Rsync und ISCSI Übertragung wegen der Blockstorage Übertragung. Full Backup 6 TB dauern ca. 10 Stunden zwischen zwei DS

Das hört sich echt interessant an.
Wie muss ich das verstehen, braucht man einen PC als Arbeitspferd dazu?
@mamema Könntest du das in ein paar Sätzen beschreiben?

 

[PlexUser]

Vorerst werde ich es wohl nochmal mit Hyper Backup versuchen und hoffe einfach darauf, dass es früher oder später mit mehreren Threads arbeitet um die Leistung aktueller Mehrkern-CPUs auszunutzen.
Zumindest beim Erzeugen eines Backups klappt das bereits jetzt! Hier aktuelle Screenshot:



Die CPU ist zu ca. 80% ausgelastet und es werden durchschnittlich so ca. 100MB/s erreicht. Mit Link Aggregation wären sicher noch höhere Geschwindigkeiten und eine CPU-Auslastung von beinahe 100% möglich - perfekt!
Anders als beim letzten Wiederherstellungsversuch verwendet Hyperbackup nun auch 4 Threads (bzw. öffnet es sogar 6, wovon aber nur 4 wirklich arbeiten, da die CPU nur 4 virtuelle Kerne hat)!

Ich bin gespannt, wie das dann beim Wiederherstellungsversuch aussieht... Da hatte es bei mir ja zuletzt nur mit einem Thread gearbeitet und daher nur Übertragungsraten von gut 25 MB/s erreicht - eventuell war das ja nur ein seltsamer Bug....

 

[synfor]

Hyper Backup != Hyper Backup Vault

 

[PlexUser]

Ja schon klar, deswegen hat es ja auch nen anderen Namen
Ich bin jetzt zur Vereinfachung nur davon ausgegangen, das jedem klar ist, dass auf Produktivsytem das Hyper Backup läuft, während auf der Backup-DS das Hyper Backup Vault läuft.
Aber du hast natürlich recht, in den meisten Fällen hätte ich statt "Hyper Backup" 100%-ig exakt eigentlich "Hyper Backup auf dem Produktivsystem bzw. Hyper Backup Vault auf dem Backup-System" schreiben müssen, das wäre aber nicht unbedingt verständlicher geworden...

 

[NSFH]

Naja bei unter 20% durchschnittlicher CPU-Auslastung, ist das so einfach nicht ganz richtig....
Das Problem ist halt dass bei 8 virtuellen Kernen nur 1 Thread genutzt wird. Das Problem ist halt weder die Schnittstelle, noch die Rechenleistung, sondern dass die Hardware nicht ausgelastet wird. Wie ja vermutlich die meisten mitbekommen haben, wurde bei der Hardware in mindestens den letzten 15 Jahren massiv parallelisiert und wenn dies bei der Software-Entwicklung ignoriert wird, werden eben 80% Systemleistung verschenkt.
............................

Es ist genau so wie ich es geschrieben habe. Da steht nichts von CPU Auslastung sondern ich schrieb Rechenleistung. Dafür steht halt nicht die gesamte CPU zur Verfügung.
Wenn du da mehr Power haben willst musst du dich von Synology verabschieden. Ein System, welches von 1 Kern bis X Kerne mit unterschiedlich leistungsstarklen CPUs funktionieren muss wird nicht in allen Bereichen optimiert lauffähig sein. Stehen nur 2 Kerne zur Verfügung kann ein Server nicht beide für einen Prozess zur Verfügung stellen, schliesslich laufen auf einem Server noch andere Dienste als nur ein Backup.

 

[mamema]

Das hört sich echt interessant an.
Wie muss ich das verstehen, braucht man einen PC als Arbeitspferd dazu?
@mamema Könntest du das in ein paar Sätzen beschreiben?

- das open source backup tool pcbackup als docker image https://hub.docker.com/r/adferrand/backuppc/
- ISCSI konfigurieren https://www.chillaa.de/Docs/files/iSCSI_LUN_direkt_auf_der_Syno_mounten.pdf
- gemountetes volume im pcbackup docker mounten
- Backup machem zwischen zwei Synos

 

[NSFH]

Wobei man ISCSI ernsthaft hinterfragen sollte, insbesondere beim backup. Die kleinste Störung und die Verbindung hat sich erledigt.
Docker kostet Rechenpower und niemand weiss wie sich Docker nach einem Systemupdate verhält.
Ein Backup wäre mir zu wichtig um mit solchen Krücken zu arbeiten. Naja, vielleicht spielt das im privaten Bereich ja keine so grosse Rolle......

 

[PlexUser]

Wenn du da mehr Power haben willst musst du dich von Synology verabschieden. Ein System, welches von 1 Kern bis X Kerne mit unterschiedlich leistungsstarklen CPUs funktionieren muss wird nicht in allen Bereichen optimiert lauffähig sein. Stehen nur 2 Kerne zur Verfügung kann ein Server nicht beide für einen Prozess zur Verfügung stellen, schliesslich laufen auf einem Server noch andere Dienste als nur ein Backup.

Naja man kann Software schon so entwickeln dass die verfügbaren X (gegebenenfalls virtuellen) Kerne genutzt werden und das funktioniert dann eben für nahezu beliebige Werte von X. Es ist zwar nicht alles parallelisierbar, das Kopieren und Sichern einer (langen) Liste von Dateien eignet sich dafür allerdings perfekt.
Im Moment sehe ich ja auch, dass Hyper Backup und Hyper Backup Vault die verfügbaren Kerne bei der Erstellung des Backups nutzen. Die Wiederherstellung konnte ich bisher zwar noch nicht erneut testen, aber im Moment sieht es eher so aus, als war es damals lediglich ein wodurch auch immer ausgelöster Bug, dass nur ein Kern bei der Wiederherstellung genutzt wurde.

 

[mamema]

Ein Backup wäre mir zu wichtig um mit solchen Krücken zu arbeiten. Naja, vielleicht spielt das im privaten Bereich ja keine so grosse Rolle......

du kannst das mit Fakten unterfüttern? Oder ist das FUD? (Fear, Uncertainty,Dissinformation)
ISCSI ist ja nur DER Standard im professionellen (ESX) SAN Bereich und bei mir rennt diese Lösung nun seit zwei Jahren. In dieser Zeit gabs diverse Docker und Containerupdates. Was an einem Docker Update problematischer sein soll. als an einem Softwareupdate generell, verstehe wohl nur ich nicht.
Aber immer wieder lustig, wenn vermeintliche Hyperbackup Benutzer das Wort "Krücke" benutzen.