USB Copy Backup von anderem NAS (openmediavault) einspielen

[Kamikaze01]

Hallo liebe Freunde von Synology

Ich habe ein ProduktivNAS (Synology) und ein BackupsNAS (openmediavault) daheim stehen.
Die letzten Tage musste ich am Synology einiges machen und will nun etwa 20TB an Daten vom BackupNAS wieder rüber auf die Synology spielen.
Gestern hatte ich bereits knapp 3TB von einer externen HDD mit 100-150MB/s in ca. 8 Stunden wieder am NAS gehabt.

Heute Früh habe ich dann die shared Folder vom BackupNAS via CIFS/SMB am Synology gemouted und ganz normal angefangen zu kopieren.
Aber das geht entsetzlich schleppend... nach 6 Stunden hatte er erst knapp 150GB kopiert.

Was meint ihr wie ich besser vorgehen soll? Am LAN sollte es eigentlich nicht liegen - ist an allen Kabeln, Switch und Routern min. 1Gbit

liegt es am Mounten des shared Folders via SMB??!?
sollte ich es mittels rsync nochmals versuchen?

Oder kann ich das BackupNAS auch direkt an die Synology anschließen?(wie mache ich das?)

Was sind eure Tips wie ich diese Daten am schnellsten rüber bekomme?

/edit: habe es gerade nochmals versucht - mehr als 5MB/s kommen nicht raus.
Da brauche ich für 15TB ja bereits mehr als einen Monat... das kann doch nicht sein...

 

[Nixnuzz]

Heute Früh habe ich dann die shared Folder vom BackupNAS via CIFS/SMB am Synology gemouted und ganz normal angefangen zu kopieren.
Aber das geht entsetzlich schleppend... nach 6 Stunden hatte er erst knapp 150GB kopiert.

Was meint ihr wie ich besser vorgehen soll? Am LAN sollte es eigentlich nicht liegen - ist an allen Kabeln, Switch und Routern min. 1Gbit

liegt es am Mounten des shared Folders via SMB??!?
sollte ich es mittels rsync nochmals versuchen?

SMB ist wirklich langsam, wenn es um viele kleine Dateien geht - das macht rsync drastisch schneller - besonders wenn du das -z (compression) Flag setzt (und die Gegenseite aureichend CPU-Power hat)

(... aber nur wenn du es direkt von Gerät zu Gerät machst - und nicht über einen auf der DS bereitgestellten Remote-Ordner, der doch wieder über SMB angebunden ist)

 

[plang.pl]

NFS dürfte da auch schneller als SMB sein

 

[Kamikaze01]

Vielen Dank für Eure Antworten !!

Meine bisherigen Versuche sind:
Mount via SMB die Ordner vom OMV NAS in der Synolgy. Danach simpel Drag&Drop über die GUI kopieren --> etwa 6-9 MB/s
Mount via SFTP die Ordner vom OMV NAS in der Synology. Danach simpel Drag&Drop über die GUI kopieren --> etwa 7 MB/s
Mount via SMB die Ordner von der Synology in der OMV. Danach über cp command in der Console kopieren --> etwa 7-9 MB/s
rsync push von der OMV auf die Synology mit entsprechenden Optionen um die Geschwindigkeit zu sehen --> etwa 7-9 MB/s

ich werde noch versuchen den rsync mittels -z Flag laufen zu lassen, habe aber mittlerweile wenig Hoffnung.

Die Daten sind eigentlich nicht klein... sind meiste mehrere hundert MB bis paar GB große Video Files.

ich versuche morgen noch die beiden NAS direkt mit einem LAN Kabel zu verbinden wie HIER beschrieben.
Hoffe mal, dass ich das hinbekomme... wenn es dann tatsächlich schneller ist, muss ich am Router/Switch oder den Kabeln schauen wo der Hund begraben ist...

 

[plang.pl]

Die NASen kannst du problemlos direkt verbinden, wenn du auf den Adaptern eine statische Adresse vergibst.
Oder du machst das nicht. Dann erhalten sie eine APIPA Adresse (169.X)

 

[Kamikaze01]

Die NASen kannst du problemlos direkt verbinden...

Ob Du wohl so freundlich sein könntest und das etwas genauer erläutern könntest...
Wie genau stelle ich das an?

Die Synology hat 2 LAN Ports, die OMV jedoch nur einen.

Und wie genau greife ich dann auf die Daten jeweils zu? Bzw. komme ich dann noch auf eine GUI?

 

[plang.pl]

Auf die GUI kommst du dann nicht mehr (vom OMV). Ich würde es so machen:
-dem OMV eine statische Adresse geben, die nicht im Bereich des LAN liegt (zB 10.10.10.10)
-dann dem NAS auf Adapter 2 eine Adresse desselben Bereiches geben (zB 10.10.10.11)
-OMV direkt an LAN2 der DS stecken
-dann via FileStation Remote Ordner eine NFS/SMB Verbindung herstellen per IP des OMV
-nach der Orgie das OMV direkt an den Rechner schließen, welcher auf dem Adapter auch eine IP dieses Bereiches konfiguriert hat
->somit kommst du wieder auf die Web UI des OMV und kannst die "normale" IP wieder einstellen

 

[Kamikaze01]

Super
Vielen Dank. Ich werde es morgen Nachmittag einmal so versuchen...

"Orgie"... haha

 

[plang.pl]

Ja mach das und gib danach unbedingt hier Rückmeldung
EDIT: Vergiss nicht, evtl die Firewall des OMV auszumachen (wenn das sowas hat)

 

[Kamikaze01]

mich hat's jetzt doch noch so in den Fingern gejuckt, dass ich das direkt jetzt noch versucht habe.

Habe
im OMV die IP statisch auf 192.168.2.16 gesetzt, Subnet ebenfalls auf 192.168.2.16 und Gateway auf 255.255.255.0
Damit habe ich mich logischerweise aus dem OMV ausgeschlossen und keine Chance mehr auf die GUI oder Konsole zu kommen.
Das war mir aber klar...
Danach habe ich das LAN Kabel von der OMV einfach direkt in den LAN2 Port der Synology gesetzt.

im Synology schließlich den LAN2 Port ebenfalls statisch auf 192.168.2.6, Subnet ebenfalls auf 192.168.2.6 und Gateway auf 255.255.255.0 gesetzt.

In der Synology habe ich noch in den Erweiterten Netzwerkeinstellungen "Multigateway" aktiviert und bei der Dienstreihenfolge den LAN2 an erste stelle gesetzt.
Firewall ist in der Syno keine aktiviert - in der OMV habe ich ehrlich gesagt vorher nicht nachgesehen, aber ich bin mir zu 99% sicher, dass dort keine Firewall aktiviert war (die OMV dient nur als Datenbunkter ohne Services die auch niemals ins Internet geht)

SOOOO... los gehts!
Habe voller Erwartungen die Ordner der OMV nun in der Synology mounten wollen - aber geht nicht
Irgendwo ist ein Wurm drinnen, denn vor der direkten Verbindung hatte sowohl SMB als auch NFS funktioniert.
Das OMV ist dahingehend korrekt konfiguriert und SMB sowie NFS aktiviert und entsprechend eingestellt (hat ja zuvor funktioniert).

Habe ich was falsch gemacht?

 

[Nixnuzz]

Ohje, irgendwas stimmt da nicht

Habe im OMV die IP statisch auf 192.168.2.16 gesetzt, Subnet ebenfalls auf 192.168.2.16 und Gateway auf 255.255.255.0

Eine Einstellung "Subnet" gibt es in der Synology nicht - in OMV vermutlich ebenfalls nicht - warscheinlich hast du da was verwechselt ...
Korrekte Einstellung wäre IP 192.168.2.16, Netzmaske 255.255.255.0, Gateway leer lassen

Ich würde probieren - PC direkt an OMV - Netzwerkarte manuell, IP 192.168.2.irgendwas, Netzmaske 255.255.255.0 - Gateway, DNS, etc leer - und versuchen, den OMV anzupingen (ping 192.168.2.16) ... mit etwas Glück antwortet er.

Wenn ja, kannst du auf die Weboberfläche - wenn nein, bleibt dir nix übrig als ne Tastatur und einen Monitor anzuschliessen. Wenn du die Netzeinstellungen in Ordnung gebracht hast, dasselbe für die DS/LAN2 (wobei ich Multigateway etc rausnehmen würde) und PC-Netzwerkkarte natürlich wieder auf automatisch.
------------------------------------------------------

Das hat jetzt natürlich nix mehr mit deinem ursprünglichen Problem zu tun - deine Datenraten lassen vermuten, dass irgendwas die Ethernetstrecke auf 100 Mbit ausbremst, dann hilft natürlich auch kein compression-flag - aber erstmal musst du überhaupt wieder Verbindung haben ...

Drück dir die Daumen

 

[synfor]

und IP-Adresse nicht doppelt vergeben

 

[Nixnuzz]

@Kamikaze01 - mir hat das keine Ruhe gelassen und ich mir angeschaut, was du in #4 verlinkt hast. Tut mir leid, aber was der gute Mann da gemacht hat, ist völlig schräg.

- erst hatte er ein funktionierendes Setup - genau nach dem Schema wie es hier schon vorgeschlagen wurde (uA auch von mir)
- das funktionierte nach einem Update nur noch teilweise, zwar liefen existierende Backuptasks noch über LAN2, aber keine neuen
- heisst (für mich), SEIN Problem liegt auf einer völlig anderen Ebene und ist ein anderes Thema
...
- dann hat er in den LAN2 Interfaces jeweils die eigene IP als Gateway eingetragen (was in sich widersinnig ist)
(die Gateway-Angabe sagt - dort gibt es einen Router - wo man Pakete hinschickt, die NICHT fürs eigene Netz bestimmt sind)
- ausserdem "Enable Multiple Gateways" aktiviert (was man verwendet, wenn es im Netzwerk mehrere Router gibt, und damit verschiedene Wege "nach draussen", siehe [1])
- nochmal - auch wenn das auf völlig unverständlichen Gründen jetzt funktionieren mag - sowas macht man einfach nicht

[1] Synology Knowledge Center - Network Routing

Oder du machst das nicht. Dann erhalten sie eine APIPA Adresse (169.X)

Finden sie sich dann über ihre Namen? Oder wie erfährst du die IP der jeweiligen Gegenstelle, wenn du sie nicht selbst vergeben hast, ausser durch nachschauen? Und kann die sich nicht sogar ändern, wenn du mal das Netzkabel ziehst?

 

[plang.pl]

Netzwerkarte manuell, IP 192.168.2.irgendwas, Netzmaske 255.255.255.0 - Gateway, DNS, etc leer

Genau so muss es sein. @Kamikaze01 hat da irgendwas verwechselt.

ausser durch nachschauen?

Entweder per Name. Oder man hat WireShark als Container auf dem NAS

 

[ctrlaltdelete]

Auf welcher Hardware läuft OMV, wo liegt das Backup, wie wurde die Sicherung erstellt?
Mein OMV läuft auf einem Raspi mit einer externen HDD und ich sicher per Hyper Backup rsync Einzel Version, alle Dateien liegen nativ auf der NTFS USB HDD.
Zum Rücksichern würde ich die USB HDD direkt an der DS anschließen.

 

[Kamikaze01]

Hallo und herzlichen Dank für Eure Hilfen !!

Habe die direkte Verbindung ohne Switch/Router nicht hinbekommen, weil ich etwas falsch eingestellt hatte
Das war mein eigener Mist... habe nun aber alles wieder normal eingestellt und beide NAS sind wieder im 192.168.1.XX Netz normal erreichbar.
Habe es (noch) nicht neuerlich probiert.

@ctrlaltdelete
Also mein OMV ist ein Do-it-yourself NAS und läuft auf
einem ASRock J5040-ITX Mainboard mit Intel Pentium Silver J5040 CPU @ 2.00GHz
mit einem be quiet! ATX 500W (BN46) Netzteil,
und 2x4GB Samsung M471A5244BB0-CRC RAM
in einem Fractal Design Node 304 Gehäuse
Dort nutze ich einen 4-Port PCIE to SATA 3.0 ControllerCard
mit 1x 128GB SSD für das OS und 2x 4TB, 1x 5TB und 1x 8TB HDD mit mergerfs (kein RAID).


Dieses OMV BackupNAS ist ein reiner Datenbunker der nur 1x am Tag hoch fährt und via rsync PULL sich die Daten von der Synology holt und wieder runter fährt. Keine sonstigen Services und keine externe Erreichbarkeit. Ganz simpler Backup Server, sonst nix.

Nun habe ich die Synology neu aufgesetzt und muss das Backup eben von der OMV wieder einspielen.

NFS hatte ich auch noch versucht, was aber ebenfalls nicht schneller war

Muss aber zugeben, dass auf der Synology das neue RAID noch gerade aufgebaut wird (das hatte ich wohl übersehen).
D.h. die scheint sowieso "beschäftigt" zu sein. Von daher werde ich das natürlich jetzt noch komplett abwarten, bis es fertig ist.

Dennoch: die 3TB von der Externen HDD konnte ich trotz zeitgleichem RAID Aufbau mit konstanten 130-150 MB/s innerhalb paar Stunden auf die Synology kopieren...

Mal sehen wie es sich verhält, wenn das RAID fertig aufgebaut ist (dauert aber wohl noch um die 4 - 5 Tage...)

Am besten wäre es wohl, wenn man eine der beiden NAS einfach mittels USB direkt an das andere NAS anschließen und wie eine große externe HDD verwenden könnte ;-)

VIEEEELEN DANK für Eure wirklich gute Hilfe und die ganzen Hinweise und Tips.
Ich habe wieder viel gelernt und werde mich in Geduld üben, bis das RAID aufgebaut ist und dann nochmals sehen wie schnell das rsync die Daten rüberschiebt... und sollte es neuerlich langsam sein so liegt der Flaschenhals wohl oder übel in meinem Netzwerk und ich werde neuerlich (mit den hoffentlich richtigen Netzwerkeinstellungen) die beiden NASen neuerlich direkt verbinden.

Ich halte euch am Laufenden wenn/wie ich es letztlich geschafft habe - aber jetzt muss ich erst mal 5 Tage abwarten, bis das SHR Raid neu aufgebaut ist...

 

[Kamikaze01]

Sooo....

peinlich peinlich - aber das Problem lag wohl nur an meiner Ungeduld und dem Versuch das Backup einzuspielen, während das RAID noch aufgebaut wird.
Der RAID Aufbau war gestern Abend fertig und ich habe seither mittels NFS mit konstanten 90MB/s kopieren können.

Offensichtlich kann die Synology zwar während dem RAID Aufbau von einer externen HDD schnell kopieren, aber nicht über das Netzwerk.
Jetzt wo der RAID Aufbau fertig ist, kopiert sie auch über das Netzwerk flüssig und schnell.

Die Problematik lag also nicht an einem der NAS oder dem Netzwerk oder den Settings, sondern alleine an mir und meiner Ungeduld das alles zeitgleich machen zu wollen und ein Backup einspielen zu wollen, während der Server noch sein RAID aufbaut... my fault !!

DANKE an alle die mir mit Tips und Tricks und Informationen geholfen haben.
Ich habe wieder einiges lernen können (unter anderem wie ich zwei NAS direkt verbinden kann ^^) bzw. dass ich mich in Geduld üben muss.

Thema ist somit für mich geklärt - läuft alles wieder !!