Dateitransfers kleiner Dateien endlich mal beschleunigen? DAS kaufen?

[randfee]

Hi,

bin ja schon seit Jahren dabei. Langsam bin ich etwas frustriert was die NAS Geschwindigkeitsentwicklung angeht, irgendwie tut sich nichts. Gbit/s Ethernet ist gemessen an den Entwicklungen der IT-Hardware insgesamt schon ein Dinosaurier aber selbst die rund 110MByte/s erreicht man ja nur bei großen Dateien, eigentlich ist das Protokoll der Dino hier.

Mein Aufhänger dreht sich um kleine bzw. normal-große Dateien. Davon habe ich hunderte, Tausende, Hundertausende. Die Transfers und Backups dümpeln im Schnitt einfach mit 20-40MB/s dahin, es sei denn ich kopiere gezippt oder eh große files. Auf der Workstation mit 8 Kernen und ordentlichen SSDs gehe ich daher schon länger hin und mache Backups über ZIP und dann das 50GB ZIP aufs NAS schieben. Deutlich schneller als anders kopieren.
Das ist doch aber nicht praktikabel! Auch CloudStation soll ja ordentlich laufen und wenn ich hier 20.000 Dateinamen ändere bzw. irgendwelche Analysen damit mach und 20000 Auswertedateien angelegt werden wird man nicht mehr froh mit der Warterei.
Ich vermisse hier clevere Algorithmen. Es sollte eine Art Software geben, welche irgendwie "Lokal Caching" automatisch umsetzt. Ähnlich SSD Cache würden dann häufig verwendete lokal gespeichert, andere auf dem NAS bzw. Dateien, die lange Transferzeiten bzw. großen Overhead haben lokal.

Ich wäre ja bereit Geld in die Hand zu nehmen und ein neues Gerät mit stärkerer Hardware (DS716+, DS1515+ etc) , aber ich vermute fast, dass das kaum was bringt, da auch schon Dateien im MB Bereich zuviel overhead erzeugen. Die DS214play die ich hier hab scheint jedenfalls nie CPU limitiert zu sein.
Die Platten können es nicht sein, ich hab auch mal eine SSD ins NAS gesteckt und erhielt zwar super bursts großer files, aber es war nur marginal schneller bei normalen Dateigrößen.
Hilft SSD Cache bei einer SOHO Anwendung wo meist nur 2-3 Rechner gleichzeitig ziehen/pushen?

Ich wollte nochmal nachfragen ob es irgendwas gibt, das man tun kann. Ansonsten wandere ich zukünftig wohl zumindest in Teilen ab zu DAS statt NAS. Was ich da mit Thunderbolt 3 beim Bekannten gesehen hab mit paar SSDs drin ist einfach eine andere Welt!
Hat jemand sich vielleicht ein Thunderbolt Netz zuhause hochgezogen... dann eben mit Hardware von anderen Firmen?

Danke um jeden Tip!
Randfee

 

[Nomad]

Kannst du die Backups nicht zu Nachtzeiten laufen lasse?

Wenn es gezippt 50GB sind dürfte die zu sichernde Menge um 100GB sein? Ein Klacks selbst für langsame Verbindungen?

Habe auch ein Fall mit vielen Dateien mit insgesamt etwa 300GB, täglich nur ein paar GB Änderungen. Geht sogar über 10MBIT Internet.

Viel hängt IMHO auch vom Programm ab. Windows Robocopy z.B. bummelt beim kopieren unerklärlicherweise mit minimalen Bandbreitennutzung herum während rsync (zwischen zwei Rechnern, NAS ist zu schwach) die Leitung voll macht.

 

[randfee]

Wenn es nur ums Backup ginge würde ich ja zustimmen.
Es geht aber auch darum große Mengen Daten auf verschiedenen Systemen synchronisiert zu halten. Ich mache zum Beispiel wissenschaftliche Auswertungen. . Das sind schnell Tausende Dateien von je 60 MB Größe die ich per Laptop mit nach Hause bringe. Analysiert wird dann auf einer Workstation. Dazu generiert zB ein matlab Script je x Dateien zu jeder Eingangsdatei, parallel mit 8 threads. Das ganze soll dann archiviert werden. Die Auswertung muss ich auf dem Laptop wieder mitnehmen. Das sind dann aber vielleicht gut 100000 Dateien, alle wenige hundert kB.
Ich dachte cloudstation sei dafür ideal, aber der Sync dauert oft Stunden, völlig impraktikabel.

Da die NAS Verbindung zu langsam ist kopiert man alle Dateien besser per Hand auf eine externe SSD, steckt sie um und dann von Hand auf die Workstation. Nach der Auswertung wieder alles zurück und ebenfalls alles aufs NAS. Ein händisches gefummelt was ich eigentlich schon lange loswerden wollte.

Ein anderes Beispiel betrifft wieder MATLAB. Wenn ich da etwas entwickel, brauche ich oft Gigabyte Weise Test Daten. Die Erfahrung zeigt, dass ich mich nicht zB auf Cloudstation Sync verlassen kann weil die Übertragung einfach viel zu langsam ist. Da steht der Laptop auf Stunden in der Dockingstation ich nehme ihn raus und fahre weg und stelle dann im Zug fest, dass nur die Hälfte der Daten drauf ist. Völlig inakzeptabel, schlichtweg kaum zu gebrauchen vom Speed her und das ist dann auch über andere Tools bzw manuelle Kopie vom NAS auf Lokal nicht besser. Viele dieser Test Daten sind nur wenige Kilobyte groß, da ist die Transferrate oft im Bereich von schrottigen USB 2.0 Sticks.

Vielleicht hat ja jemand eine Idee wie man das besser machen kann.
100MB/s würde mir völlig reichen, wenn sie denn auch geliefert würden. Auf der Arbeit ist der Transfer mit Ultra teurer EMC SAN Hardware auch nicht schneller, daher habe ich so meine Zweifel, dass bessere Hardware die Lösung ist.
Ich frage mich seit Jahren, warum es nicht eine Art Container Lösung gibt die ähnlich einem Zipp mit voller Geschwindigkeit übertragen werden kann aber nicht immer gepackt und entpackt werden muss. Der Ansatz mit dem zippen erfordert jedoch mehr Handarbeit, denn ich muss die Dateien manuell aus dem synchronisierten auch da herausnehmen, bearbeiten, Zippen und wieder in den synchronisierten Ordner zurück schieben, da ansonsten Cloudstation oder was auch immer wieder mit der sinnlosen Aufgabe anfangen würde Hundertausende kleiner Dateien mit 5 MB/s transferieren zu wollen.

 

[PsychoHH]

Also ich habe wahrscheinlich keine Lösung für dich aber ..

Warum machst du das nicht alles automatisiert per Script?

Wenn alles fertig ist packen, kopieren und entpacken.
Du kannst dies ja per Script über LAN oder USB machen.

Und beim entpacken sollten aktuelle DS schon einiges an Leistung ermöglichen.

 

[Nomad]

Wenn die Anwendung "ungeschickt" ist und unzählige kleine Dateien produziert die Probleme bereiten, wäre eine virtuelle HD nicht eine Lösung? Unter Windows eine VHD Kontainerdatei anlegen und sie z.B. als Laufwerk E: einbinden? Oder unter Linux ein Loop Device? Denkbar wäre ja auch ein Abbild einer physischen Partition mit z.B. Acronis? In Extremfall wäre auch eine VM denkbar da wird die ganze Maschine samt den Daten kopiert?

Alternativ wäre auch ISCSI ein Versuch wert?

 

[randfee]

• gegen iSCSI würde sprechen, dass ich ja von verschiedenen Rechner ran muss an die Daten - das sehe ich doch richtig, dass das nicht geht?
• Script wie? Zippen und rüberschieben und dann auf dem NAS entzippen? Das NAS kann automatisch entpacken? Dagegen spricht auch, dass man überall den doppelten Speicher braucht, passiert oft, dass es auf dem Laptop dann nicht mehr passen würde - es sei denn man kann vom NAS ein Zip ohne doppelten Speicher auf einen Client entpacken, das müsste ich mal ausprobieren.
  Das müssten dann ja aber schon drei scripte sein, auf jedem Client und auf dem NAS?
• Virtual Hard Drive - Ist das flexibel genug? Klingt erstmal nicht schlecht - das könnte eine Lösung sein, wenn es stressfrei nutzbar ist. Ich schau mir gleich mal Daemon Tools an, ewig nicht benutzt. Hätte am liebsten was Plattform Unabhängiges.

 

[dil88]

Zu SCSI: Das siehst Du richtig.

 

[PsychoHH]

• Script wie? Zippen und rüberschieben und dann auf dem NAS entzippen? Das NAS kann automatisch entpacken?

Was heißt automatisch auf dem NAS hast du ja z.B. tar und zip sowie unter MacOS.
Da könntest du dir einfach einen Plan nach Zeit einrichten, nach dem hochfahren oder vor dem herunterfahren wie man will.
Oder du startest das Script dann.


Ich selbst würde es wahrscheinlich so machen.

Nutzt du immer den selber Ordner oder erstellst du jeden Tag einen neuen?
Eigentlich ist das egal, denn man könnte im Script ja so gut wie alles angeben.


Sprich ..


zip -r daten.zip quellordner
cp quelle ziel oder scp oder rsync qulle nas:ziel
ssh@ipnas unzip daten.zip




Natürlich kannst du noch die exit codes abfragen
Bei cp müsste das NAS aber vorher gemountet werden.


Jedenfalls wenn du fertig bist Script ausführen und es werden alle Dateien/Ordner komprimiert.
Sobald das fertig ist einfach den Ordner auf die DS kopieren cp oder rsync und wenn das fertig ist wieder auf dem NAS entpacken.
Wenn du eine SSH Verbindung per SSH Key einrichtest, schickst du einfach den entpack Befehl zum NAS und dieser führt in aus.

Wahrscheinlich nutzt du einen Mac oder?
Entweder dann direkt ein Script in Alfred wenn du es hast kopieren oder z.B. auf dem Schreibtisch und Terminal als Standard festlegen.

 

[ThomasK]

Meine letzte Backup-Erfahrung mit einem Server mit sehr vielen Dateien liegt 2 Jahre zurück. ca 1,4 Millionen Dateien hatten die Anwender auf den Shares angesammelt. Da war ein Backup eine grosse Herausforderung. Typisch für solche Fälle ist, dass 99% der Dateien "alt" sind und quasi nie mehr verändert werden, bestenfalls gelegentlich gelesen. Im Prinzip wäre es sinnvoll, diese Dateien auszulagern, nur noch zum Lesen freizugeben und ein "letztes" Backup in den Schrank zu legen, egal ob auf Platte oder Band.
Das war jedoch leider nicht gewünscht, "wir wollen alles jederzeit lesen/schreiben können."
In so einem Fall hilft CPU/Plattenleistung kaum mehr weiter. Der Server hatte 16 Cores, 48 GB RAM und schon 10GE Netzwerk. Die Platten waren schnelle Platten für RAID-Systeme, 16 an der Zahl.
Selbst Robocopy brauchte eine ganze Nacht um die paar veränderten/neuen Dateien zu finden und zu kopieren. Das "Finden" war das Problem, denn natürlich musste jede Datei zumindest auf verändertes Datum geprüft werden, und das dauert.

Einzig gangbare Lösung: Backup über Snapshots eines LUNs. Den Snapshot kann man dann sichern, das kann dann ruhig einen Tag dauern. Aber das Anlegen geht recht schnell, in Minuten.
SAN von EMC beschafft, LUN darauf gelegt, am Wochenende migriert und das Problem und ca. 100.000 Euro waren weg. ;-)

 

[mgutt]

Ich wäre ja bereit Geld in die Hand zu nehmen und ein neues Gerät mit stärkerer Hardware (DS716+, DS1515+ etc) , aber ich vermute fast, dass das kaum was bringt, da auch schon Dateien im MB Bereich zuviel overhead erzeugen.

Ich möchte mich hier mal einklinken. Ich habe eine DS1618+ im 10G Netzwerk und auch mit so einem NAS kann es ganz schön langsam werden (ca 7000 kleine JPEGs):


Allerdings gilt das nur für SMB. Kopiere ich nämlich über FTP, sieht die Sache schon anders aus:


Wobei die FTP-Implementierung von Windows ziemlicher Müll ist. Man merkt schon beim simplen Öffnen von Ordnern, dass das deutlich schneller gehen sollte. Auch, dass man beim Kopieren aufs NAS quasi mit der selben Geschwindigkeit einen Download verursacht, spricht klar für einen mangelhaft programmierten Client. Ich vermute, dass Windows nach dem Kopieren von jeder Datei einen Hash erstellt um den Kopiervorgang zu verifizieren. Anders kann ich mir dieses Verhalten jedenfalls nicht erklären.

Ein weiterer Beleg dafür ist, wenn man stattdessen Filezilla nutzt. Hier mit nur einer Dateiübertragung:


und hier mit 10 parallelen (ich konnte gerade noch den Screenshot erstellen, da war er schon fertig ^^):


Die Frage ist nun warum SMB so miserabel im Vergleich ist?!

 

[mgutt]

Ok, jetzt wird es albern. Wenn ich das NAS als Linux Netzlaufwerk (NFS) in Windows einbinde, dann kann ich darüber schneller kopieren als über SMB:


Daraus schlussfolgere ich, dass der Flaschenhals die SMB Implementierung auf dem Synology NAS ist. Das erklärt vermutlich auch warum Fritz!Boxen so dermaßen einbrechen, wenn man über SMB darauf zugreift.

Fazit: SMB meiden. Lieber FTP nutzen und über den Kauf von Webdrive, Mountainduck, Expandrive, etc. nachdenken um einen FTP Server als lokales Laufwerk einzubinden.

 

[Puppetmaster]

Witzig, denn ich habe mit SMB die besten Übertragungsraten, allerdings im 1GBit Netz. FTP ist da bei mir noch nie herangekommen. NFS ist gut, aber nicht schneller als SMB.

 

[NSFH]

Habe die gleichen Erfahrungen gemacht, SMB ist definitiv schneller als FTP. Der Unterschied NFS SMB ist marginal, verschiebt sich bei kleinen Dateien minimal Richtung NFS, bei grossen kam SMB besser klar.
Wem die Performance seiner Diskstation im LAN nicht reicht kann nur auf 10GbE mit SSD HDs ausweichen. Dieser Schub ist extrem spürbar.

 

[mgutt]

Sprechen wir von vielen kleinen Dateien oder vielen großen. Bei großen Dateien sind die Übertragungsraten ja auch bei mir höher. Eine SSD dürfte ja eigentlich nichts am Verhältnis ändern. Soll heißen warum sollte die SSD gerade SMB schneller machen als FTP?

Ich kann euch ein Zip mit vielen kleinen Zufallsdateien bereitstellen. Dann könnte man es gut vergleichen. Wie testet ihr denn FTP, auch mit Filezilla?

 

[Puppetmaster]

Ich hatte vor ein paar Jahren auch einmal auf das Pferd 'FTP' gesetzt und testweise mehrere FTP-Clients genutzt - u.a. FileZilla. Für Filetransfer über Internet war der auch brauchbar (da kein SMB möglich).

Gestestet mit allen möglichen Dateien, groß, klein, ...
Das Thema langsamer Übertragung vieler kleiner Dateien mittels SMB aufgrund des relativ großen Overheads ist ja nicht neu. Kam bei meinen Tests aber nicht so zum Tragen. Will heißen, dass FTP da keinen brauchbaren Vorsprung für mich herausgestellt hatte.

Aktuell nutze ich kein FTP mehr. Mit SMB und NFS bin ich derzeit völlig zufrieden.

 

[NSFH]

SSD bringt in der normalen DS erst mal nicht viel mehr Leistung, aber wenn man auf viele kleine Dateien zugreift und das dann über mehrere Nutzer merkt man den Unterschied doch. Für Einzelnutzer daher weniger interessant. Ausser VM, die sollte immer eine SSD haben.

 

[peterhoffmann]

Ich kann euch ein Zip mit vielen kleinen Zufallsdateien bereitstellen.

Dann mal her damit. Ich habe im NAS eine SSD (1TB) und eine HDD (6TB). Ich teste das mal gerne mit beiden Laufwerken aus.

 

[mgutt]

Dann mal her damit. Ich habe im NAS eine SSD (1TB) und eine HDD (6TB). Ich teste das mal gerne mit beiden Laufwerken aus.

Cool. Also das ist ein ZIP mit 2000 Zufallsdateien:
https://gutt.owncube.com/index.php/s/ypazNbiqBXPWmdF

Ich komme beim Hochladen über SMB aufs NAS im Schnitt auf 3-4 MB/s.



Wenn ich die ZIP selbst über SMB hochlade, dann sehe ich nicht mal den Kopierdialog (da in unter 1 Sekunde fertig). Das war aber nicht die Frage.

Ich verstehe ja nicht warum das NAS den Kram nicht erst mal komplett in den RAM statt auf die Platten schreibt. Wozu habe ich denn so viel RAM ^^

 

[Puppetmaster]

Wozu habe ich denn so viel RAM ^^

Weiß nicht. Wozu hast du denn soviel RAM!?

 

[peterhoffmann]

Test über SMB

Testdateien:
2000 Stück mit je 500kb

Aufbau:
PC <-----> Switch <-----> Fritzbox 7490 <-----> NAS (716+ m. 8GB RAM)
Alle Verbindungen laufen mit 1000MBit, kontinuierliche Raten von 90 MB/s bei großen Dateien. Normalerweise sollten es 113 MB/s sein, aber ich nehme an, dass die Fritzbox hier etwas ausbremst.

Cache:
Vor und zwischen jedem Test habe ich den Speicher vom NAS freigemacht um das Lesen aus dem Cache zu verhindern.

Ergebnisse:

SSD-Laufwerk im NAS
1 => PC --> NAS
2 => NAS --> PC
HDD-Laufwerk im NAS:
3 => PC --> NAS
4 => NAS --> PC

Anmerkung:
Die genutzten gemeinsamen Ordner sind verschlüsselt. Aus dem Bauch heraus würde ich aber annehmen, dass das kaum Relevanz hat.