Erfahrungsaustausch SSD Cache

[Online78]

Moin

seit einigen Wochen beschäftige ich mich mit der SSD Cachefunktion von Synology und habe festgestellt, dass in den Foren das Thema kaum behandelt wird. Es ist schwer sich über SSD Cache zu informieren (ausser über offizielle Quellen). Erfahrungen über den realen Einsatz habe ich jedoch nicht gefunden. Da ich mich entschlossen habe die Funktion von SSD Cache zu nutzen, sowie interesse habe mich über meine Erfahrungen auszutauschen habe ich dieses Thema erstellt.

meine Konfig:
- DS 713+
- 4 GB Ram
- 2 * 3 TB WD RED
- DSM 5.2-5592 Update 4
- div Packete / inkl ZARAFA / MailServer
- DX213
- 2 * 250 GB Hyper X SSD von Kingston

SSD Cache installation:
- Sequenzielles I/O überspringen habe ich nicht aktiviert
- Schreib- / Lese- Cache mit max grösse (223GB) erstellt.

bin gespannt, wie sich die Performance verändert. Da ich noch nie Leistungstest mit meiner DS gemacht habe, wäre ich auch dankbar für eure Inputs. So, bin gespannt ob wirklich niemand sich für das Thema SSD Cache interessiert. Freue mich auf eure Beiträge und Fragen.
Dominique

 

[axuaxu]

Kann mich auch irren, aber sollte dwr ssd cache nicht direkt in der ds (slot 1/2) verbaut werden?
Die DX liefert niemals die gleiche performance wie die DS

 

[Online78]

Danke für den Hinweis. Kann dies jemand bestätigen?

 

[dil88]

Es liegt auf der Hand: In einer DS verfügt jede SSD/HDD über einen eigenen SATA-Port (SATA-2 oder 3). Die DX wiederum ist über einen eSATA-Port mit der DS verbunden, dessen Bandbreite sich ihre Devices teilen müssen. Bei HDDs fällt das i.d.R. nicht auf, SSDs können SATA sättigen und insofern ausgebremst werden.

 

[Online78]

Ich denke auch, dass die SSD's ausgebremst werden können - müsste jedoch getestet werden. Was aber nicht geht ist in deiner 2 Bay DS 2 SSD als Read Write SSD Cache zu betreiben, da in der DS ein Volume mit Systempartition installiert sein muss. Daher geht SSD Cache bei einem 2 Bay NAS nur, wenn die SSD's in einer DX sind.

 

[Benares]

Also ich hab mich mal kurz mit SSD-Cache beschäftigt - hat absolut nichts gebracht. Meine DS415+ schafft allerdings auch ohne SSD-Cache locker die theoretische Rate von >~100MB/s bei GBit-LAN. Aber ich verwenden die SSD nun weiter als /volume2 (Basis), solange der 4. Slot noch frei ist, für VirtualBox. Da bringt es merklich etwas.

 

[Online78]

Hallo Benares, ist es nicht viel eher so, dass der SSD Cache nichts mit der Datendurchsatzrate zu tun hat, sondern mit Zugriffszeiten usw. Bei mir ist zum Beispiel der MailServer und ZARAFA viel schneller geworden. Das hat mit der Zugriffszeit zu tun und nicht downloadrate der Infos.

 

[axuaxu]

Das schon, aber interne slots werden ja deutlich schneller angesprochen wie die slots in der dx

 

[Online78]

Dies streite ich nicht ab, aber dass ist nur eine option für 4- Bay NAS. Ein 2-Bay NAS kann SSD Cache nur über eine Erweiterungseinheit etablieren, wenn es ein read write Cache sein soll. Mich würde jetzt interessieren, ob und wie es getestet werden kann, dass ein SSD Cache in einer Erweiterungseinheit tatsächlich langsamer ist, wie axuaxu hier sagt. Ich kann aus Erfahrung sagen, dass meine Anwendung mit Datenbank (ZARAFA) jetzt viel schneller läuft, auch wenn die SSD in der Erweiterungseinheit sind.

 

[Benares]

... ist es nicht viel eher so, dass der SSD Cache nichts mit der Datendurchsatzrate zu tun hat, sondern mit Zugriffszeiten ...

Vom Gefühl her, wurde ich sagen, dass kommt ganz auf die Anwendung und deren IO-Verhalten an.
Bei vielen kleinen wechselnden Dateien liegt nach einiger Zeit das meiste eh im RAM-Cache. Erst, wenn es viele größere Dateien sind, und der RAM-Cache nicht mehr ausreicht, mag ein zusätzlicher SSD-Cache etwas bringen. Aber das muss halt auch alles verwaltet werden, und da hängt es wieder von der CPU ab. Deshalb frag ich mich, ob es nicht besser ist, solche Anwendungen gleich ganz auf SSD zu legen. VirtualBox ist so ein Fall, da hat man eine ~32GB-Datei als virtuelle Platte, in der sich immer irgendwo was ändert. Die passt nicht in den RAM, aber wozu soll jede Änderung überhaupt auf Platte geschrieben werden.

 

[raymond]

Kein Wunder: es wird nicht von allen NASes unterstützt und bringt nur in wenigen Konstellationen wirklichen Mehrwert. Meistens liegt es an der langsamen Geschwindigkeit der NAS an sich oder am Netzwerk (oftmals WLAN). Mit DSM 6 wird das auch gut nochmal performancemäßig optimiert.

 

[Insane307]

Ich hatte eine Zeit lang mal eine ähnliche Konfiguration wie der Threadstarter, 713+ mit 2 x 6TB WD Red und DX213 mit 250GB SSD als Lese Cache.
In der Praxis sah das dann so aus, dass beim ersten Zugriff auf Dateien, diese gleichzeitig in den Cache geladen werden.
Beim ersten Zugrfiff auf Dateien hat man also logischerweise keinerlei Performancegewinn.

Beim zweiten Zugriff auf die Datei wird dann allerdings nur noch vom Cache gelesen, was grade bei vielen kleinen Dateien einen enormen Performance Schub bringt.
Bestes Beispiel ist hier die Thumbnailerstellung von Windows in Fotoordnern mit vielen hunderten Bildern.
Man merkt das aber nur bei kleinen Dateien, also nur bei den IOs, weil die die 713+ bei großen Dateien auch von normalen HDDs das Gigabit Limit ausreizt.

Bin dann aber nach einiger Zeit wieder weg von dieser Lösung, da mich zwei Dinge gestört haben.
Erstens, die DX muss immer permanent mitlaufen und verbraucht damit zusätzlichen Strom und zweitens, nach einem Reboot muss der Cache neu aufgebaut werden.

Ich für meinen Teil hab dann angefangen ordentlich auszumisten/auszulagern und betreibe jetzt nativ 2 x 1TB SSDs in der 713+.
Zusammenfassend würde ich sagen, wer viele kleine Dateien öfter im Zugriff hat profitiert in jedem Fall vom SSD Cache.
Ansonsten lohnt es sich nicht wirklich.

mfg

 

[Online78]

Vielen Dank für deine Beobachtung und Rückmeldung.

 

[Online78]

Hallo zusammen,
ich habe mit dem SSD Cache nun etwas mehr Erfahrungen gemacht. Dabei habe ich ihn auch ein und ausgeschaltet um andere Einstellungen zu wählen. Nun habe ich festgestellt, dass in der Lese-Trefferrrate die Prozentanzeigen unten für Tag / Woche / Monat plötzlich leer sind, also keine Anzeige vorhanden ist. Zu Beginn war dies anders. Die Echtzeitanzeig ist vorhanden. Ich verstehe nicht ganz warum dies so ist. Ein und Ausschalten des Cache verlief immer nach dem normalen Vorgang. Gibt es igrendwelche Dateien, welche durch den SSD-Cache erstellt werden, die nach dem Ausschalten noch vorhanden sind? Könnten diese den Grund dafür sein?
Danke für eure Hilfe.
Online78

 

[Leberkasbepi]

Da muss ich aber dazu sagen, dass du den Cache in einem ungünstigen Modus eingeschaltet hast, weil es gibt nämlich eine spezielle Einstellung "sequenzielles I/O überspringen".
Das bedeutet, wenn die HDD's genug Perfomance bieten, direkt von den Festplatten gelesen wird und nicht vom Cache. Erst wenn Dateien öfters angefordert werden, lädt die DS diese in den Cache. Deshalb hat man beim ersten öffnen einer Datei keine Geschwindigkeitsabfälle (weil kein kopieren in Cache).
Einen Leistungsschub konnte ich bei meiner 1513+ mit 120GB Lese-Cache auch nicht feststellen außer, dass die Übertragungsrate nur noch selten unter 70MByte/s fällt.
Der einzige Grund warum ich den Cache aktiv lasse ist, dass die Festplatten geschont werden, wenn Daten aus dem Cache geladen werden. Ich überlege gerade, ob ich mir nicht noch eine 2. SSD hole um auch den Schreib-Cache aktivieren zu können, vor allem weil der dann in RAID 1 Modus geschaltet wird. Immerhin war meine erste Erfahrung mit SSD's negativ.

 

[geimist]

Also ich habe leider auch negative Erfahrungen mit dem SSD-Cache machen müssen.

DS713+
1x 2TB HDD (WD red)
1x 240GB SSD (Samsung 840)
2 GB RAM

Nach dem aktivieren des Caches kam es immer wieder zu I/O-Fehlern und Datenverlußt (innerhalb von Tagen / Wochen). Meistens bei den meist genutzten Daten. Obwohl es ein reiner LESE-Cache war, konnte der Support den Fehler auf die SSD eingrenzen (Thread siehe hier). Seit dem deaktivieren des Caches keine Fehler mehr (3 1/2 Monate). Die SSD läuft seitdem als Volume2 - auch ohne Fehler …

FAZIT:
+ Alles lief flotter. Besonders bei parallelen Netzwerkzugriffen
- Ich wog mich mit einem reinen Lese-Cache in Sicherheit - dem war nicht so!

 

[Leberkasbepi]

Ich hab mir jetzt eine zweite SSD gekauft (gleiche Größe und Typ), kann aber keinen Schreib/Lese Cache erstellen, auch wenn ich Time Backup deaktiviere oder lösche und die DS neu starte. Wenn ich den Schreib/Lese Cache aktivieren will, steht bei "Bereitgestellt auf" nur Volume/LUN drin, kann es aber nicht ändern und somit den Cache nicht aktivieren. Beim Lese Cache steht schon automatisch Volume 1 drin.
Ein Bug vom aktuellen System oder mache ich was falsch?



Lese Cache:



Schreib/Lese Cache:

 

[T0M24]

Moin,

ich habe mal meine Erfahrungen mit dem Cache zusammengetragen:

Meine derzeitige Ausbaustufe ist:
DS918+ 2x 3,6TB ST4000
12GB RAM
2x M2 NVM.e SSD Cache ADATA SX8200PNP 256GB

1 Volumen komplett

Das Ziel war, die Performance vom wiederholten Zugriff auf einige kleine Dateien zu steigern und die Performance der virtuellen Maschinen zu erhöhen.
Den Cache habe ich gestern eingebaut und in Betrieb genommen.

Ich muss leider feststellen, dass sich meine Erwartungen nicht bestätigt haben, oder ich etwas beim einrichten nicht korrekt gemacht habe oder die DS noch etwas optimiert werden muss.

Wie habe ich getestet:
Kurz vor und nach dem Einbau habe ich per SSH mit einigen Konsolenbefehlen die Performance (rein lokal) gemessen:

dd if=/dev/zero of=temp.txt bs=1M count=1000

erzeugt eine 1GB große Datei mit maximal möglicher Geschwindigkeit und

dd if=temp.txt of=/dev/null

liest diese Datei mit max. Performance.

Der DD Befehl liefert am Ende eine kurze Zusammenfassung u.a. über die gemessene Geschwindigkeit.

Vor dem Einbau des SSD-Caches hatte ich auf Volumen1 Geschwindigkeiten von durchschnittlich 850MB/s beim Schreiben und ca 600MB/s beim Lesen.

Nach dem Einbau brach die Lese/Schreib Performance deutlich und völlig unerwartet ein:
ca. 130MB/s schreiben und ca. 130MB/s lesen

Interessant dabei ist, dass ich bei der Erzeugung von kleinen Dateien (ca. 10MB) wesentlich größere Schreibraten von etwa 650MB/s erziele. Daraus schließe ich, dass irgendein interner RAM-Cache noch mitgenutzt wird.

Welche Perfomance-Beobachtungen habt Ihr gemacht?
Was könnte man noch tun?
Handelt es sich um einen Bug?

Viele Grüße
Tom

Nachtrag: Die Geschwindigkeit übers Netz erreicht dennoch die theoretisch max. Geschwindigkeit von ca. 110MB/s beim Schreiben von großen Dateien, bei kleinen Dateien bricht es jedoch maßlos ein auf bis zu 160KB/s

Bin kurz davor die Teile wieder rauszuschmeißen.....

 

[mb01]

Vorweg, bei 12 GB RAM wird sich eine Menge im RAM-Cache abspielen, denn deine beiden 4-TB-Platten sind niemals in der Lage, so hohe Datenraten zu liefern. Rechne mal mit real vielleicht ca. 160-180 MB/s pro Platte, also in der Praxis vermutlich im frischen Zustand des Volumens ca. 320 MB/s im RAID 1, die aufgrund der Hardware maximal erreicht werden können. Im Ressourcenmonitor sieht man übrigens auch, wie viel RAM für "Zwischenspeicherungen" genutzt wird. Meist sind nämlich nur noch 5% richtig frei und alles andere wird dafür verwendet. Wie genau DSM RAM-Caching macht, kann ich auch nicht sagen, aber gerade auch bei Benchmarks auf Netzlaufwerken merkt man es bei kleinen Testdatensätzen deutlich.

Hab gerade deinen "Benchmark" kurz auf meiner DS918+ (16GB RAM, 2x 256GB NVME) ausgeführt, mit aktivem SSD-Cache und 2/3 vollem btrfs-Volumen. Wichtiger Unterschied zu deinem System: Ich hab vier bis zu 260 MB/s schnelle 7.2K-Festplatte im SHR (RAID 5) drin, d.h. ein Maximum der realen Dauertransferraten von 500-600 MB/s ist realistisch.

1GB a 1M ... 1.2 GB/s schreiben, 600 MB/s lesen
10GB a 1M ... 533 MB/s schreiben, 410 MB/s lesen
20GB a 1M... 413 MB/s schreiben, 350 MB/s lesen
1GB a 10M ... 1.1 GB/s schreiben, 609 MB/s lesen
10GB a 10M ... 510 MB/s schreiben, 560 MB/s lesen
20GB a 10M ... 450 MB/s schreiben, 320 MB/s lesen

Ich möchte jetzt nicht meinen SSD-Cache abschalten und neu aufbauen lassen, da ich gerade mit dem System zufrieden bin und die Schreibleistung der SSDs auch endlich ist , von daher kann ich keine Werte ohne Cache liefern. Ich erkenne aber bei mir keine signifikant bremsenden Einflüsse durch den aktiven Cache. Bei großen Datenmengen bricht es ein, jepp ... aber nicht zu vergessen: die DS918+ hat nur nen Atom-Prozessor, nur zwei 1GbE-Ports und keinerlei 10GbE-Nachrüstmöglichkeit. Und: Intern sind die beiden NVME-Ports für die SSDs bei der DS918+ nicht sehr dick an den Atom-Prozessor angebunden, vermutlich max. 1 PCIe 2.0 Lane pro SSD (=500 MB/s), d.h. hier ist auch ein Bottleneck vorhanden.

Als User hat man leider keinen Einfluss darauf, welche Daten DSM wann und wie in den Cache schiebt und welche nicht. Und wie gesagt, wie sich das RAM-Caching da integriert, weiß man auch nicht. Ich würde aber and deiner Stelle noch einmal praxisnahe Anwendungen testen. Wo der SSD-Cache bei mir zumindest einen enormen Unterschied macht, ist bei meiner etwas größeren Photostation-Installation.

PS: 160 kB/s beim Kopieren von kleinen Dateien (per SMB?) ist definitiv viel zu wenig. Wenn man aber solche Kopier-Tests machen will, dann sollte man testweise immer mal wieder die Echtzeitüberprüfung des Sicherheitstools am Recher deaktivieren. Windows Defender z.B. hat hier zumindest "im oberen Bereich" durchaus einen Einfluss auf die Datenrate bei kleinen Dateien.

 

[T0M24]

Ein paar Messwerte mit ChrystalMark6

Hi mb01,

danke für Dein Feedback. Ich habe nochmal etwas "tiefer ins Geschehen geblickt" ;-)

Und möchte Euch die Messwerte nicht vorenthalten. Für den ungeduldigen Leser: Es schein sich doch zu lohnen.

Gemessen habe ich mit ChrystelMark6 für Windows (https://crystalmark.info/) einem wie ich finde ganz guten Programm um mal eben ein paar reproduzierbare Tests zu machen.

Der wesentliche Aspekt ist, es testet bei unterschiedlichen Filegrößen und das beim sequentiellen und zufälligen Lesen und Schreiben. Es folgt mal beispielhaft ein Protokoll, welches am Ende einer Testmessung entsteht. Hier am Beispiel einer virtuellen Maschine Win10Prof auf besagter DS918+ mit 12GB RAM bei eingeschaltetem SSD-Cache welche auf ein lokales Netzlaufwerk ("M:") schreibt.

-----------------------------------------------------------------------
CrystalDiskMark 6.0.2 x64 (C) 2007-2018 hiyohiyo
                          Crystal Dew World : https://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :    30.001 MB/s
  Sequential Write (Q= 32,T= 1) :    42.554 MB/s
  Random Read 4KiB (Q=  8,T= 8) :     6.209 MB/s [   1515.9 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :    19.847 MB/s [   4845.5 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :     7.116 MB/s [   1737.3 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :     9.095 MB/s [   2220.5 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :     2.990 MB/s [    730.0 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :     3.163 MB/s [    772.2 IOPS]

  Test : 1024 MiB [M: 64.6% (2308.3/3572.6 GiB)] (x5)  [Interval=5 sec]
  Date : 2019/09/26 11:18:25
    OS : Windows 10 Professional [10.0 Build 17763] (x64)

    NAS05-VM auf LW M: mit SSD-Cache

Ich möchte jetzt nicht auf alle Details eingehen, aber man sieht wo die Reise hingeht. Vor allem sieht man: nicht gerade dolle
Zum Vergleich die Zahlen von einem normalen Laptop auf das gleiche Netzlaufwerk (mit Cache):

   Sequential Read (Q= 32,T= 1) :   118.024 MB/s
  Sequential Write (Q= 32,T= 1) :   109.987 MB/s
  Random Read 4KiB (Q=  8,T= 8) :    44.807 MB/s [  10939.2 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :    58.846 MB/s [  14366.7 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :   101.727 MB/s [  24835.7 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    59.218 MB/s [  14457.5 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :    15.338 MB/s [   3744.6 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :     9.190 MB/s [   2243.7 IOPS]

Und da noch zum Vergleich Laptop auf gleiches Netzlaufwerk allerdings ohne Cache:

   Sequential Read (Q= 32,T= 1) :   118.374 MB/s
  Sequential Write (Q= 32,T= 1) :   108.675 MB/s
  Random Read 4KiB (Q=  8,T= 8) :   114.844 MB/s [  28038.1 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :    79.157 MB/s [  19325.4 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :    82.286 MB/s [  20089.4 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    83.546 MB/s [  20397.0 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :    12.353 MB/s [   3015.9 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :     8.238 MB/s [   2011.2 IOPS]

Bei großen Dateien gibt es wie zu erwarten zwar keinen Unterschied, bei immer kleiner werdenden Dateien steigt die Wahrscheinlichkeit an, dass es besser wird.
Ich habe noch viel mehr Messungen besonders auch im Umfeld der virtuellen Maschinen lokal und auf Netzlaufwerken usw. gemacht, möchte Euch aber nicht damit langweilen.

Fazit:
Ich habe mir etwas mehr erwartet, besonders im Bereich Virtualisierung und dort lokaler "Netzwerkzugriff", es wird auch etwas besser. Ob es jedoch die 100,-€ für die 2xSSD-Cache Riegel wert war, darf in Frage gestellt werden. Vermutlich wären schnellere Platten die bessere Wahl gewesen.

Ciao
Tom