Kaufberatung für NAS mit 10GE

IngoF · 24. Okt 2021

Hallo,

ich würde gerne ein NAS zusammenstellen mit der ich 10GE ausnutzen könnte.
Es geht um Videobearbeitung bei der die ganzen Medien auf der NAS liegen sollen.

Würde sowas mit einer DS1621+ mit fünf WD RED PRO/PLUS 14 TB (RAID0) gehen?
Oder müssten es schon SSDs sein?

Oder ist sowas mit einer DS1621+ nicht möglich?

Was habt Ihr so für Ideen?

Hondo · 24. Okt 2021

Schreib-lese-cache kannst Du da wohl außer acht lassen in dem Szenario

Ein 5-6 Platten Raid0 wird es schon brauchen für die Anbindung

mit SSDs brauchst du davon vermutlich nur halb so viele, die müssen dann aber die Leitung auch konstant bringen, statt nach dem üblichen slc-cacheing dann heftig einzubrechen
Trim unter Raid ist ja IMO auch so ein Problem
Der Preis/TB dürfte auch ein Faktor werden

denkbar wäre aber auch die aktuellen Arbeitsdaten auf ein SSD array zu legen und anschließend auf einen langsameren Festplattenshare zu verschieben

ich würde aber vermutlich an deiner Stelle gleich das DS1821+ nehmen, hat man dann notfalls nen freien Slot

himitsu · 24. Okt 2021

SSD: ich denke mal die CPU zum Berechnen wird mehr verbrauchen, als die SSD hier für die Daten einen großen Mehrwert erbringen können.

Und jupp, bei der Datenmenge (rießige Dateien) und da die Daten eh vorwiegend sequentiell gelesen/geschrieben werden, werden Caches (RAM und SSD-Cache) hier nichts bringen.

Das mit der SSD/SSDArray für die aktuelle(n) Datei(en) und die restlichen Daten auf HDD, wären aber ein Kompromiss falls die HDD die Datenrate doch nicht schaffen würden.
Mit einer E25G21-F2 (25 GbE) würdes du im BOND auch noch auf 50 Gbit kommen können.

IngoF · 24. Okt 2021

Danke für eure Beiträge.

Also im Moment synchronisiere ich die Daten mit Synology Drive bei zwei Rechnern auf die interne 2TB SSD die etwa 500MByte/s schafft.
Das nervige ist nur die (unzuverlässige) und lahme "Synchronisation bei Bedarf".
Die Daten sind die Ergebnisse von einigen Foto-/Videokameras und der Drohne.

Daher sollten es schon etwa 5GBit sein um auf die 500MBit/s kommen. Würde dann bestimmt auf 1 TB aufrüsten.
Also dachte ich erst mal so an 2 oder 3 14 TB Red Pro um dann bei mehr Speicherbedarf noch 2-3 nachzulegen.

Auf den Windows 10 Rechnern im würde dann über SMB die NAS anbinden.
Die NAS stehen im Netzwerkraum und sind über 10GE im Arbeitszimmer angebunden.
Dann kann ich mich auf beiden Rechnern mit meiner Frau an den Medien austoben.

Würde das die DS1621+ und Windows 10 über SMB schaffen? Eine Netzwerkkarte 10GE müsste ich mir ja dann auch noch zulegen.
Aber 1621xs+ wäre eventuell auch sehr interessant wegen der bereits eingebauten Netzwerkkarte aber würde das dann bestimmt zu teuer werden.

Die 1821+ wollte ich mir nicht unbedingt zulegen. Ist eher ein Platzproblem eine DS1621+ würde gerade noch reinpassen. Ein Teil der Medien würde noch als "Kopie" auf der alten 1815+ im Raid6 liegen bleiben und dann noch über Hyperbackup eventuell auf der DS415+ gesichert werden.

Im Moment habe ich "nur" 10TB an Daten.

50GBit wären absolut übertrieben und das Bonding bringt ja leider nichts wenn man nur einen Rechner hat.

himitsu · 24. Okt 2021

Es gibt Performancetests vom Hersteller und Anderen
https://www.synology.com/de-de/products/performance
https://www.storagereview.com/review/synology-diskstation-ds1621-review
https://www.computerbase.de/2020-10/synology-ds1621-amd-ryzen-test/2/#abschnitt_dateitransfer

Joar, die 415 kannst dir als Backup nutzen,
oder du kannst auch eine/die Freigabe(n) dieser DS in deiner Neuen einbinden und dort dann fast so nutzen, als wäre der Speicher da drin.

IngoF · 27. Okt 2021

Habe es gerade mal der 1621xs+ getestet. Hatte noch zwei 4TB und drei 6TB WD Red zum testen.
RAID0, Btrfs, MTU:1500,10GBE, zwei 15GB Dateien kopieren.

2 Platten: ~300MByte/s
3 Platten: ~410MByte/s
5 Platten: ~660MByte/s

Beim lesen und schreiben waren die Werte identisch.
RAID5 5HDD Schreiben 340MB/s Lesen 420MB/S (während des rebuilds)

Es wurde dann doch die DS1621XS+/8GB. Ist auch mit eingerechneter 10GE Karte etwas teurer. Aber etwas flexibler wegen dem freien Slot.

IngoF · 27. Okt 2021

Beim Test mit einem verschlüsselten Ordner schafft sich nur etwa 200 MByte/s statt der 660 Mbyte/s hätte nicht erwartet dass sie so stark in die Knie dabei geht...

weyon · 27. Okt 2021

Seltsam, meine Ds1520+ schafft mit einen Celeron J4125 problemlos ca. 330MB/s kopieren zu/nach verschlüsseltem Ordner (mehr geht Aufgrund der Anzahl der Festplatten nicht).

IngoF · 28. Okt 2021

Habe es gerade noch mal getestet. zwei gleichgroße Dateien mit insgesamt 26,8 GB.
Die DS1621xs+ habe ich mit 8GByte Arbeitsspeicher.
Es ist ein RAID0 mit WD Red (CMR) 6 und 4 TB.
Habe das aktuelle (DSM 6.2.4-25556 Update2).

War mir nicht Sicher ob ich das DSM 7 ausprobieren sollte. Ein Downgrade ist ja nicht ganz so einfach weil die Versionsnummer und Kernel im Flash gespeichert werden.
( Synology-Wiki: - Downgrade / Emby: - Downgrade )

Habe mit der Stoppuhr die Übertragungszeit gemessen. Beide Ordner gleichzeitig als Netzlaufwerk verbunden ( Laufwerk M: und S: )
Hier die Daten:

verschlüsselter Ordner:
schreiben 259 MB/s
CPU: 15%
Datenträger: 27%
Volume: 42%
lesen 627MB/s

normaler Ordner:
schreiben 667 MB/s
lesen 629MB/s
CPU: 11%
Datenträger: 55%
Volume: 100%

Die Auslastung der Diskstation habe ich nur beim schreiben aufgeschrieben.
Was mich wundert ist dass beim schreiben in den verschlüsselten Ordner sich die Diskstation scheinbar langweilt.
Das andere wunderbare ist dann die fast gleichhohe Leseleistung wie beim unverschlüsselten Ordner.

Wo ist da mein Denkfehler? Ist das normal???

masterg81 · 28. Dez 2021

Hallo Ingo & den Rest der Welt,
hat schon jemand eine Lösung gefunden?
Ich habe auch eine DS1621xs+ mit 8GB RAM. Aber mit DSM 7.0.1-42218
Ich habe ein RAID5 aus 4x Synology SAT5210 SSD 960GB (auch schon mit 4x WD RED SA500 1TB getestet)
Auch mit einem RAID10 habe ich es getestet, weil ich mir die Paritätsberechnung sparen wollte.
Die DS1621xs+ habe ich noch nicht produktiv im Einsatz, daher sind auch noch keine weiteren Pakete installiert und das DSM so gut wie auf Werkseinstellungen.
Aber egal in welcher Konstellation, ich komme nicht über folgende Werte:
verschlüsselter Ordner:
schreiben 273 MB/s bei 16% CPU-Auslastung
lesen 732MB/s bei 16% CPU-Auslastung

normaler Ordner:
schreiben 1110 MB/s bei 45% CPU-Auslastung
lesen 1260MB/s bei 9% CPU-Auslastung

himitsu · 28. Dez 2021

Wo ist jetzt das Problem?

Unverschlüsselt Lesend kommst du doch gut auf die 10 GBit?

masterg81 · 28. Dez 2021

Problem ist, dass Synology mit 1263.49 MB`s (write) bei verschlüsselten Ordnern wirbt.
Auch das ich bedingt in unseren Vorgaben verschlüsselte Ordner verwenden muss und da finde ich 270MB`s bei einem NAS in der 1600€ Klasse echt niedrig, obwohl die CPU (Xeon) sich langeweilt. Gerade wenn weyon hier auf 330MBs mit einem Celeron kommt:

weyon schrieb:
Seltsam, meine Ds1520+ schafft mit einen Celeron J4125 problemlos ca. 330MB/s kopieren zu/nach verschlüsseltem Ordner (mehr geht Aufgrund der Anzahl der Festplatten nicht).

Ulfhednir · 28. Dez 2021

Die Frage an der Stelle ist auch: Wie hat Synology gebenchmarked und wie hast du das gemacht. Bei kleineren Files hast du einen erheblichen Verlust beim Lesen / Schreiben. Wie sieht es denn aus, wenn du eine 10GB File überträgst?
Ansonsten gäbe es auch noch zum Benchmarken den NAS Tester:
http://www.808.dk/?code-csharp-nas-performance

masterg81 · 28. Dez 2021

ich teste es immer mit der selben 100GB-Datei über SMB3. Bei unverschlüsselten Ordnern bin ich ja zufrieden mit meinem vorhandenem Setting.
Danke für den Link. Auch hier bleibt es bei höchstens 270MB`s beim verschlüsselten Ordner , habe jede File size ausprobiert

himitsu · 29. Dez 2021

Die Verschlüsslung ist ja unabhängig von CPU/CPUAuslastung, von den verwendeten Laufwerken/HDDs und von der Art der getesteten Dateien.
Somit sollte dort bei allen Tests deren Tempo gleich bleiben, da identische Hardware, sowohl

Was mich etwas wundert, ist, dass bei Unverschlüsselt die CPU so viel mehr ausgelastet wird.

Klar, es wird hier bestimmt die Hardwareverschlüsselung genutzt, weswegen beim ver-/entschlüsseln die CPU das nicht machen muß,
also sollte Sie diesbezüglich nichts machen müssen, abgesehn von dem doppelten Traffic durch den zweiten Dateisystemtreiber von der unverschlüsselten Freigabe ins verschlüsselte Verzeichnis.

IngoF · 09. Jan 2022

Da hilft wohl nur ein Ticket an Synology öffnen.

Die Test die verlinkt wurden und die ich gefunden habe liefen alle nur über eine 1GBE

Wenn meine Messwerte 30% vom Synology Benchmark abweichen würde wär das ja OK. Aber ein Unterschied von 470% kann ich mir nicht erklären.
Habe natürlich nicht die Hardware die Synology für die Tests verwendet hat.

masterg81 · 10. Jan 2022

ich habe ein Ticket seit dem 22.12.2021 offen... Ich melde mich, wenn ich schlauer bin.
Ich kann bisher nur sagen, dass ein DS1621+ (mit E10G18-T1) im Schnitt gute 340MB/s beim schreiben im verschlüsselten Ordner schafft.
Das DS1621xs+ schafft weiterhin nur 270MB/s.
Ich habe auf beiden NAS (DS1621+ & DS1621xs+) sämtliche Raid-Optionen (auch mit 6 SSD`s) getestet und kann sagen, dass sich nichts verändert.
Die Limitierung wird mit einer einzigen SSD ohne Raid schon erreicht.
Folgende Werte habe ich nun mit Fio 3.9 bei 64-KB-Blockgröße für sequenziellen SMB-Durchsatz ermittelt:
DS1621+ unverschlüsselt auf Raid5 mit 4xSSD = 1056MB/s
DS1621+ verschlüsselt auf Raid5 mit 4xSSD = 341MB/s
DS1621xs+ unverschlüsselt auf RaidF1 mit 4xSSD = 1116MB/s
DS1621xs+ verschlüsselt auf RaidF1 mit 4xSSD = 269MB/s

IngoF · 10. Jan 2022

Die Test von Synology wurden bei der DS1621+ mit 2x10GBEthernet Karte durchgeführt.
Von der DS mit 3 10GbE Ports durchgeführt.
Im PC ist eine 10GbE mit 2 Ports eingebaut. Es ist aber nicht beschrieben ob sie auch nur einen oder zwei 10GbE Ports am PC benutzt haben.

Die Tests wurden mit DSM 7 durchgeführt. Ich habe nur das aktuellste DSM 6.2.
Kann leider nicht mit DSM 7 testen. Meine Diskstation ist schon in Betrieb.

Mit welchem DSM hast Du getestet?

Trotzdem wundert mich dass die DS1621+ bei Dir beim schreiben schneller als die DS1621xs+ ist.
Laut den Daten von Synology soll das ja anders herum sein.

Was hast Du denn für eine Netzwerkkarte im PC?

masterg81 · 10. Jan 2022

auf beiden NAS ist die DSM 7.0.1-42218 installiert.
Sie laufen beide noch nicht produktiv und sind so gut wie auf Werksteinstellungen.
Also keine weiteren Pakete installiert oder irgendwelche Dienste am laufen.
Ich denke nicht das es an der Netzwerkkarte liegt. Denn unverschlüsselt macht ja meine Testumgebung die 10GBE.
Es hängt halt nur bei den verschlüsselten...
Im Server ist die NIC onboard, Intel® X550-AT2. Ansonsten habe ich noch nen Client mit einer Asus XG-C100C Karte.
Auf beiden sind die Werte ähnlich, mal 1-5 MB`s mehr oder weniger.
Ja, dass die DS1621+ (mit 4GB RAM) mehr schafft, ist eigentlich ein Unding, wenn man den Aufpreis von 500€ der DS1621xs+ berücksichtigt

himitsu · 10. Jan 2022

Nicht nur der RAM unterscheidet sich.

Die XS+ hat doppelt RAM und einen Intel Xeon mit +0.5 GHz Turbo und Hyperthreading (4 Kerne / 8 Threads),
während die + eine AMD Ryzen ohne Turbo und mit auch doppelt Threads (4 Kerne / 8 Threads) besitzt.

https://ark.intel.com/content/www/d...l-xeon-processor-d1527-6m-cache-2-20-ghz.html
https://www.amd.com/en/products/specifications/embedded/8191+11961

Laut Intel könnte es sogar bis 128GB RAM gehn, falls jemandem die 8 GB nicht reichen.

Der Speicher ist aber egal, denn beim Test hatte Synology bei Beiden 16 GB drin,