DS1618+ NAS Performance Test mit 10 Gbit/s

[mgutt]

@Kurt-oe1kyw bat mich damals ein Benchmark mit meinen WD Reds (5400 U/min) zu machen:


Mittlerweile habe ich 32GB RAM verbaut und 4 der 6 Laufwerke gegen WD DC HC520 (7200 U/min) ersetzt. Daher wollte ich mal ein kleines Update posten. Damit der RAM das Ergebnis nicht verfälscht, habe ich wie damals die Dateigröße des NAS Performance Tester über die des RAM gesetzt, also auf 40.000 MB erhöht:


Wie man sieht hat sich durch die neuen Laufwerke die Schreibleistung um 27% und die Leseleistung um 16% verbessert. Die letzten beiden Laufwerke werde ich wohl erst nächstes Jahr tauschen. Dann folgt natürlich noch ein Update.

Bei Dateien, die in den RAM passen ist die Übertragungsrate durch SMB und Linux Caching natürlich extrem gut:


Ich habe auch mal versucht ein Benchmark mit Intels NAS Performance Toolkit zu machen, aber das bekomme ich unter Windows 10 einfach nicht zum laufen.

 

[Kurt-oe1kyw]

Vielen Dank für die Info und das Testen, vor allem die Gegenüberstellung von 5.400 upm HDDs und 7.200 upm HDDs ist doch recht aussagekräftig. Bei mir hier im 1Gbit/s Netzwerk nicht von relevanz, ABER bei 10 Gbit/s Netz bremsen die 5.400 upm HDDs dann die Geschwindigkeit bereits aus.

 

[Mercator]

@mgutt
Ich habe auch eine DS1618+ (aktuell nur 4 GB RAM) und mit 10 GbE über Switch angebunden, aber erreiche diese Zahlen nicht so ganz bei meinem RAID (SHR). Ich komme mit dem gleichen Benchmark-Tool bei 8 GB großen Dateien gemittelt nur auf 300 MB/s beim Schreiben und Lesen. Habe aktuell aber nur 3x Seagate IronWolf 6 TB (SHR) drin. Dateisystem ist BTRFS. Schreibcache auf den Platten ist aktiviert.

Verwendest Du ext4 oder BTRFS?

Ich bin eigentlich mit der Performance bislang eigentlich nicht unzufrieden, aber wenn ich es richtig lese, hast Du 300 MB/s beim Schreiben und 400 MB/s beim Lesen früher schon mit 6 Stück 5400 rpm Platten erreicht. Das finde ich interessant. Denn ich hatte früher 5900 rpm Platten (Seagate) und trauere der niedrigeren Lautstärke von denen etwas nach. Und mit den 400 MB/s beim Lesen ist man ja trotzdem fast im Bereich von SATA-SSDs (von denen ich zwei in der DS1618+ drin habe).

Und noch was: der NAS performance tester verwendet ja als lokale Quelle bzw. Ziel des Tests den Ordner aus dem man das Tool startet. Das Tool startest Du bei Dir lokal aus einem Ordner auf einem Laufwerk was auf einer M.2 (NVMe / PCIe) liegt, oder?

Ich habe auch noch ältere SATA SSDs im PC und die geben bei mir die harte Obergrenze vor.

 

[mgutt]

Im PC habe ich ausschließlich NVMe verbaut. Was ist das denn für eine SSD in deinem PC? Also eine billige mit kleinem Cache oder teure mit großem SLC Cache und RAM? Eigentlich solltest du ja problemlos am Maximum kratzen können.

Virenscanner während dem Benchmark deaktiviert?

Eventuell liegt es aber auch daran, dass ich kein BTRFS nutze. Das soll ja zu Lasten der Performance gehen. 300 MB lesen wäre dann aber trotzdem wenig.

Hast du sicher eine 10 GBit Anbindung? Evtl wurde weniger zwischen PC und Switch ausgehandelt?!

 

[Mercator]

Das sind noch Samsung 850 PRO 1 TB SATA-SSDs. Reine Schreibrate auf die sind im Mittel ~ 500 MB/s, Leserate ~ 550 MB/s. Ich habe auch definitiv 10 Gbit/s über den Switch und Virenscanner ist auch nicht aktiv während des Tests.

Aber ich habe mich wohl etwas missverständlich bzw. unvollständig ausgedrückt.

Also ich habe auch noch 2 ältere SATA-SSDs (Samsung 840) in der DS1618+ und bei denen komme ich in beiden Richtungen nahe an das jeweils maximal mögliche ran. Wenn ich die Raw-Netzwerkperformance messe, komme ich auch nahe an die 10 GBit/s ran.

Warum ich geschrieben hatte war, dass mein HDD-RAID einfach offensichtlich nicht so schnell ist, wie Deins. Nicht mal wie Dein vorheriges aus den sechs 5400 rpm WD-Platten.

Unterschiede:
- Aktuell nur 3 Platten 6 TB IronWolf
- BTRFS
- Nur 4 GB RAM in der DS1618+

Muss eigentlich an einem von den drei Faktoren liegen oder einer Kombination aus mehreren.

Ich werde aber nächstes Jahr den RAM aufrüsten und eine vierte IronWolf reinstecken und dann mal schauen, ob es nach oben geht.

 

[mgutt]

Check mal ob evtl ein einzelnes Laufwerk das RAID bremst:
https://www.synology-forum.de/showt...ark-Auslastung-einzelner-Laufwerke-eines-RAID

 

[Mercator]

Danke für den Hinweis. Habe das mal angesehen und es gibt zwar kleine Abweichungen, aber sie scheinen sich gleich zu verteilen. Keine der Platten scheint stark abzuweichen. Dabei ist mir aber aufgefallen, dass die Anzeige im Ressourcen-Monitor wenn "NAS performance tester" läuft gerade beim Lesen viel stärker schwankt, als wenn ich z.B. einfach eine 20 GB Datei kopiere. Ich sehe dann weniger Schwankungen im Ressourcen-Monitor da und im Windows 10 Explorer sehe ich dann auch eher Richtung 350 bis 370 MB/s im Mittel. Der "NAS performance tester" zeigt mir kaum über 300 MB/s beim Lesen an. (Außer ich verwende Dateigrößen viel kleiner als der RAM in der DS1618+.)

Beim Schreiben dagegen ist die Anzeige im Ressourcen-Monitor für "NAS performance tester" und einfaches Schreiben einer großen Datei sehr ähnlich.

Die Frage wäre eigentlich, was eigentlich mit 3 IronWolf 6 TB Platten SHR mit BTRFS an Performance eigentlich überhaupt zu erwarten ist. Vielleicht sind die Werte ja auch vollkommen ok dafür...?

Da die meisten Synology-Nutzer wohl anscheinend nach wie vor mit der Beschneidung auf 1 GbE leben (können oder wollen), findet man leider relativ wenig Vergleichswerte.

 

[mgutt]

Bei mir hier im 1Gbit/s Netzwerk nicht von relevanz

Trotz 10G habe ich sehr oft Übertragungsraten von unter 1G, also so pauschal würde ich das nicht abtun.

Hier beim Übertragen von ein paar MP3 Musikalben:


Und hier viele kleine Dateien, was ja ähnlich einem Backup entspricht:


Dazu kommt RAID Rebuild, SMART Tests, usw. Vom Prinzip profitiert man davon immer. Genauso gut könnte man dann ja sagen, dass so eine ultralahme Platte absolut ausreichend wäre (hauptsache billig):


Aber gerade beim 4K Random Access ist die 7200rpm einfach mal eben doppelt so schnell und das ist ja beim RAID mit seinen Prüfsummen wichtig, insbesondere bei BTRFS, wo die Hashwerte ja immer extra gecheckt werden:

 

[mgutt]

Die Frage wäre eigentlich, was eigentlich mit 3 IronWolf 6 TB Platten SHR mit BTRFS an Performance eigentlich überhaupt zu erwarten ist. Vielleicht sind die Werte ja auch vollkommen ok dafür...?

Ich habe das noch mal durchdacht und ich glaube mittlerweile, dass 350 bis 370 MB/s absolut vertretbar sind (und auch nichts mit BTRFS zu tun haben). Denn bei einem SHR über 3 Platten verteilen sich die Daten zwar auf alle 3, es kann aber wegen dem Parity nur von 2 Platten parallel gelesen werden:


Und dadurch, dass die Datei nicht einfach in 2 große Teile geteilt wird, sondern in viele kleine Blöcke á 512 KiB (Standardwert bei mdadm, keine Ahnung was Synology eingestellt hat), ist nicht nur das sequentielle Maximum von 230 MB/s der IronWolf relevant, sondern auch der IOPS-/Random-Wert. Die Frage ist also wie hoch ist die Übertragungsrate der IronWolf bei vielen 512 KiB Dateien? Wären das 180 MB/s, dann würde das die 360 MB/s im Schnitt erklären.

Allerdings hieße das auch, dass 4 IronWolf eine Leserate von 540 MB/s bieten würden, was ja mehr ist als was ich habe und ich habe ja insgesamt 6 Laufwerke. Das erschien mir erst unlogisch, aber mittlerweile denke ich das Problem gefunden zu haben. Dadurch, dass ich ebenfalls ein SHR habe, aber mit unterschiedlich großen Laufwerken, verteilen sich neue Dateien nicht auf alle 6 Laufwerke, sondern nur auf 4:


Das macht Sinn, weil die 6TB Platten schon längst voll sind. Und das wird auch dadurch bestätigt, dass ich alte Dateien mit 620 MB/s herunterladen kann. Dann arbeiten die 2 kleinen Laufwerke nämlich mit (und bilden dann allerdings auch den Flaschenhals).

Ich habe also durch die unterschiedliche Größe der Platten eigentlich nur eine RAID5 über 4 Platten und damit maximal die 3-fache Lesegeschwindigkeit. Bei knapp 500 MB/s, ergibt das also 167 MB/s pro Platte. Wenn ich also irgendwann noch eine 7200rpm Platte verbaue, müsste ich theoretisch auf 667 MB/s kommen und sobald die letzte auch noch ersetzt wurde, wären es 835 MB/s. Ich bin gespannt, ob das dann zutreffen wird.

Der im Monitor angezeigte Wert von 126 MB/s pro Platte ist übrigens ein Mittelwert aus allen 4 Platten. Auch wenn immer nur von 3 parallel gelesen wird, passiert das ja ständig im Wechsel und so kommt dann ein Durchschnitt von 126 MB/s über alle 4 Platten hinweg zustande. Der Wert pro Platte bezogen auf einen Parity, entspricht also 126 * 4 / 3 = 168 MB/s und damit ziemlich genau das was ich zuvor schon ausgerechnet habe. Natürlich schwankt dieser Wert ständig, aber im groben passt die Rechnung.

Allerdings lese ich dabei etwas heraus, was mir gar nicht gefällt. Sind die IronWolf etwa schneller als die DC HC520

 

[Mercator]

@mgutt
Sehr interessante Überlegungen von Dir! Klingt für mich absolut logisch.

Ich plane sowieso bald eine vierte IronWolf dazuzustecken. Dann werde ich sehen, ob sich was tut.

Allerdings realisiere ich gerade, dass ich eigentlich, wenn ich für alle Dateien jederzeit die volle Lese-Performance des RAIDs nutzen wollen würde, ich eigentlich alle Dateien neu schreiben müsste bzw. vielleicht sogar das RAID neu aufbauen und neu beschreiben müsste.

 

[mgutt]

@mgutt
Allerdings realisiere ich gerade, dass ich eigentlich, wenn ich für alle Dateien jederzeit die volle Lese-Performance des RAIDs nutzen wollen würde, ich eigentlich alle Dateien neu schreiben müsste bzw. vielleicht sogar das RAID neu aufbauen und neu beschreiben müsste.

Nein, wenn du gleich große Platten verbaust, dann erweitert er das SHR, was ja bei dir nichts anderes als ein RAID5 ist, einfach um eine weitere Platte. Dabei werden alle Datenblöcke einfach neu umverteilt. Das passiert im Zuge der "Konsistenzprüfung". Man kann das gut sehen, denn während der Konsistenzprüfung wird von den alten Platten viel gelesen und auf die neue viel geschrieben. Man sieht es ja auch bei mir. Ich habe ja eine Platte nach der anderen durch größere ersetzt und jetzt werden ganz alte Dateien auch von den neuen Platten gelesen.

Ich denke jetzt verstehe ich auch das SHR. SHR ist denke ich nichts anderes als mehrere RAID5, die parallel laufen. Hat man zB wie ich 2x6TB und 4x12TB, dann baut der denke ich ein RAID5 über alle Platten bis jeweils 6TB belegt sind und das zweite RAID5 geht über den restlichen freien Speicher der 4 großen Platten. Das hat dann aber wie gesagt den Nachteil, dass die Performance stark schwankt und wie jetzt in meinem Fall mache ich ein Benchmark und es wird langsamer statt schneller, weil gar nicht alle 6 Platten zur Verfügung stehen.

Ich glaube ich verschiebe mal ein paar alte Filme auf meine PC. Mal sehen ob ich dadurch mit dem Benchmark auch auf die alten Platten schreiben kann.

 

[Iarn]

So ist es. SHR1/2 ist quasi ein scheibchenweise verschachtelter RAID 5/6. Bei der Erweiterung wird der Raid eh blockweise neu aufgebaut.

 

[mgutt]

So mittlerweile habe ich alle 6 Platten ersetzt. So richtig zufrieden bin ich aber ehrlich gesagt nicht:



Ca 600 MB/s lesen erscheint mir was wenig zu sein. Liegt das am SHR oder verursachen die Platten den Flaschenhals?

Beim Kopieren in Windows sind es zwar 700 MB/s read, aber erwartet hätte ich ehrlich gesagt einen Vollausschlag:


Wobei man den Wert im Alltag natürlich eh nie erreicht, da ständig irgendwelche Apps auf dem NAS arbeiten. Für den Test hatte ich aber extra alle Pakete deaktiviert.

EDIT: Also er meint, dass SHR den Lesezugriff um 20% verlangsamt.

EDIT2: Hier erreicht jemand im RAID6 sequentiell 780 down und 530 up:
https://photographylife.com/reviews/synology-ds1618#performance


Und RAID6 ist ja noch ein Laufwerk weniger als bei RAID5 von dem man lesen kann. Ein Wechsel von SHR auf RAID5 wäre natürlich mega aufwendig. Ob ich das machen soll... :|

EDIT3: Hier spricht man bei SHR von 800 down und 520 up beim Kopieren einer MKV Datei bzw CrystalDiskMark gibt hier diesmal deutlich niedrigere Werte bei Q32T1 aus (insbesondere wenn man bedenkt, dass es SHR1 und nicht SHR2 ist):
https://pcper.com/2018/09/synology-...rice-performance-and-features/#ftoc-heading-5

 

[Synchrotron]

Da die Grafik sich immer wieder selbst skaliert, wirst du nie einen "Vollausschlag" erleben.

Meine Vermutung wäre, dass jetzt tatsächlich entweder der Plattencontroller oder die Platten selbst zum begrenzenden Faktor werden. Gut ist schon mal, dass die Kurve schön glatt oben bleibt, d.h. es gibt keine Elemente in dem Prozess, die richtige Flaschenhälse sind, und dann zu oszillieren anfangen.

Damit wäre ich schon mal ganz zufrieden ...

 

[mgutt]

Meine Vermutung wäre, dass jetzt tatsächlich entweder der Plattencontroller oder die Platten selbst zum begrenzenden Faktor werden.

Wie kann ich das denn analysieren? Im Ressourcen-Monitor zeigen die Datenträger keine komplette Auslastung. Die CPU schläft ebenfalls. Nur das Volume ist auf 100%. Wäre das bereits der Beleg dafür, dass der RAID Controller überlastet ist?

Das es so homogen aussieht liegt natürlich an den deaktivieren Paketen. Wenn ich parallel lese und schreibe, geht es massiv bergab.

 

[Synchrotron]

Wie man es analysieren kann: Keine Ahnung. Das ist eher etwas für die Cracks hier im Forum.

Aber der Hinweis, dass es bei paralleler Nutzung schlechter wird, deutet für mich eher auf den Controller als auf die einzelnen Platten. RAM hast du ja genug - vermutlich zu 97% als „Zwischenspeicher“ deklariert. Der puffert die i/os, aber kann natürlich nur verarbeiten, was auch abgenommen bzw. geliefert wird.