NVME SSD als Volume nutzen - Erfahrungen

[maxblank]

Dann können die Werte von @ctrlaltdelete oben mit Tests auf die NVMEs fast nicht hinkommen, da wird anscheinend über RAM gecacht oder CDM erzeugt Daten, die komprimiert werden.

 

[ctrlaltdelete]

In der 920+ sind die nvmes langsamer angebunden als in der 923+

ja, die Info habe ich auch.
Ich bin mit der Performance meines NVME-Speicherpools trotzdem zufrieden, mir geht es auch eher um die IOPS gerade für die VMs. Und solange ich meine 2,5 Gbit LAN Anbindung sättigen kann bin ich zufrieden.

 

[peterhoffmann]

Um Werte "näher am System" zu ermitteln, könnte man auf der Konsole mit dd rumtesten.
Zum Beispiel (lesen):

dd if=/dev/sata1 of=/dev/null bs=10M count=500

(liest 5GB (10Mx500) von Sata1 und wirft sie in /dev/null)
In Gegenrichtung (schreiben) geht das auch, da darf man aber nicht auf /dev/sata1 schreiben, sondern muss eine Datei angeben, z.B. /volume1/ordner/datei

Beispiel DS720+:
/dev/sata1 => Samsung Evo 870 2TB
/dev/nvme0 => Samsung Evo 970 2TB

Ergebnisse:

Werte mit dd:

root@dsa / $ dd if=/dev/sata1 of=/dev/null bs=10M count=500
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 9.45308 s, 555 MB/s
root@dsa / $ dd if=/dev/nvme0n1 of=/dev/null bs=10M count=500
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 11.6343 s, 451 MB/s

Werte mit hdparm.

root@dsa / $ hdparm -tT --direct /dev/sata1
/dev/sata1:
 Timing O_DIRECT cached reads:   888 MB in  2.00 seconds = 443.38 MB/sec
 Timing O_DIRECT disk reads: 1396 MB in  3.00 seconds = 465.20 MB/sec

root@dsa / $ hdparm -tT --direct /dev/nvme0n1
/dev/nvme0n1:
 Timing O_DIRECT cached reads:   764 MB in  2.00 seconds = 381.30 MB/sec
 Timing O_DIRECT disk reads: 1170 MB in  3.00 seconds = 389.59 MB/sec

So hat man "untereinander vergleichbare" Werte.

Alle Angaben und Codeschnipsel ohne Gewähr und auf eigene Verantwortung!

 

[ctrlaltdelete]

Ergebnisse:

Werte mit dd:

dd if=/dev/sata1 of=/dev/null bs=10M count=500 (WD red plus)
(5.2 GB, 4.9 GiB) copied, 31.8964 s, 164 MB/s

dd if=/dev/nvme0n1 of=/dev/null bs=10M count=500 (Kingston NVME-SSD)
(5.2 GB, 4.9 GiB) copied, 11.8373 s, 443 MB/s

Werte mit hdparm:

hdparm -tT --direct /dev/sata1 (WD red plus)
/dev/sata1:
 Timing O_DIRECT cached reads:   890 MB in  2.00 seconds = 444.64 MB/sec
 Timing O_DIRECT disk reads: 496 MB in  3.00 seconds = 165.30 MB/sec

/dev/md2: (3 x WD red plus SHR, BTRFS)
 Timing O_DIRECT cached reads:   1690 MB in  2.00 seconds = 845.12 MB/sec
 Timing O_DIRECT disk reads: 928 MB in  3.00 seconds = 309.33 MB/sec

hdparm -tT --direct /dev/nvme0n (Kingston NVME-SSD)
/dev/nvme0n1:
 Timing O_DIRECT cached reads:   786 MB in  2.00 seconds = 392.30 MB/sec
 Timing O_DIRECT disk reads: 1202 MB in  3.00 seconds = 400.40 MB/sec

/dev/md3: (2 x Kingston NVME-SSD, RAID1, BTRFS)
 Timing O_DIRECT cached reads:   736 MB in  2.01 seconds = 365.53 MB/sec
 Timing O_DIRECT disk reads: 1178 MB in  3.00 seconds = 392.56 MB/sec

 

[peterhoffmann]

/dev/sata1

Sieht aus wie eine HDD. Korrekt?

Ich habe oben im Posting meine Werte mit dd hinzugefügt.

 

[ctrlaltdelete]

Ja, korrekt, habe die Konfiguration in () dahinter gesetzt.

 

[Benares]

Hier zum Vergleich auch mal die Werte meiner DS1522+

root@DS1522:/volume1/daten# hdparm -tT --direct /dev/sata1

/dev/sata1:
 Timing O_DIRECT cached reads:   1004 MB in  2.00 seconds = 501.18 MB/sec
 Timing O_DIRECT disk reads: 650 MB in  3.01 seconds = 216.21 MB/sec
root@DS1522:/volume1/daten# hdparm -tT --direct /dev/md2

/dev/md2:
 Timing O_DIRECT cached reads:   1198 MB in  2.00 seconds = 598.18 MB/sec
 Timing O_DIRECT disk reads: 1240 MB in  3.00 seconds = 413.16 MB/sec
root@DS1522:/volume1/daten# hdparm -tT --direct /dev/nvme0n1

/dev/nvme0n1:
 Timing O_DIRECT cached reads:   1504 MB in  2.00 seconds = 751.54 MB/sec
 Timing O_DIRECT disk reads: 2196 MB in  3.00 seconds = 731.54 MB/sec
root@DS1522:/volume1/daten# hdparm -tT --direct /dev/md3

/dev/md3:
 Timing O_DIRECT cached reads:   1476 MB in  2.00 seconds = 737.26 MB/sec
 Timing O_DIRECT disk reads: 2252 MB in  3.00 seconds = 750.48 MB/sec

md2 ist ein SHR-Raid5 mit 3 Platten, md3 eine NVME-SSD. Ich war von den relativ guten Werten der Platten überrascht. Man sieht auch schön, dass es beim Raid durch das parallele Lesen etwas schneller geht als mit einer einzelnen Platte. Auch scheint die NVME-SSD deutlich schneller angebunden zu sein als bei @ctrlaltdelete.

Ganz interessant sind auch die dd-Tests (s. hier) Da kommen die Platten auf ~350MB/s schreibend/lesend, die NVME-SDD wieder auf 750MB/s. Interessant ist auch, dass, wenn man das Testfile ein zweites Mal liest, es komplett aus dem RAM-Cache bedient wird (7-8 GB/s) egal ob HDD oder SSD.

 

[peterhoffmann]

RAM-Cache

Um das zu verhindern, kann man in solchen Fällen den Cache vom RAM leeren:

sync; echo 3 > /proc/sys/vm/drop_caches

 

[Benares]

Ja klar, ist in der Anleitung ja auch beschrieben. Aber man sieht halt auch schön, was der RAM-Cache bringt, wenn etwas mehrfach gelesen wird und dass es keine Rolle spielt ob es ursprünglich von HDD oder SSD kam.

 

[ctrlaltdelete]

Ich habe mal meine Werte erweitert um die Ergebnisse der Speicherpools 3x WD SHR und 2 x NVME RAID1.
Der Unterschied zur DS1522+ ist deutlich, allerdings sind deine WD red plus 14 TB auch schneller.
Vielen Dank für eure "Testerei".

 

[ctrlaltdelete]

Fazit: Sparen auf eine DS15/16/1825+
Edit: Meint ihr mein SHR wird wesentlich schneller mit 4 HDDs, bin auch am überlegen von SHR auf RAID5 umzubauen, aber das ist mir glaube ich zu viel Action.

 

[Benie]

Ja, da habe ich bei Anschaffung meiner DS 920+ Ende letzten Jahres nicht weit genug geschaut. Aber als Trost, bisher waren wir doch auch mit unserer 920+ zufrieden

 

[ctrlaltdelete]

Absolut, ich habe die DS920+ jetzt 3 Jahre und bin wirklich happy mit dem NAS.
Habe gestern noch ein wenig gebastelt und nun zeichnet die SS auf USB HDD auf und ich werde die dadurch freigewordene 4. Bay für die Erweiterung meines SHR auf 4 HDDs nutzen.
Sorry, genug offtopic jetzt.

 

[Thonav]

Edit: Meint ihr mein SHR wird wesentlich schneller mit 4 HDDs, bin auch am überlegen von SHR auf RAID5 umzubauen, aber das ist mir glaube ich zu viel Action.

Nö, meine DS923+ mit SHR WD Reds und 2 NVMe Raid1 liefern vergleichbare Werte wie die vom @Benares. Ich denke es liegt an der Hardware und mal im Ernst - meinst Du, dass Du die Unterschiede im täglichen Leben merken wirst?

 

[ctrlaltdelete]

ontopic, @Benie was erreichst du denn für Werte mit den WD NVME SSDs, kommst du über 400 MB/s?

 

[ctrlaltdelete]

@Thonav nein, mit Sicherheit nicht und das LAN ist eh der Flaschenhals mit max. 250 MB/s. Aber man wird ja mal ein wenig träumen dürfen

 

[Benie]

@Benie was erreichst du denn für Werte mit den WD NVME SSDs

Hier sind meine Werte:

root@wa-DS920Plus:~# hdparm -tT --direct /dev/sata1

/dev/sata1:
Timing O_DIRECT cached reads: 886 MB in 2.00 seconds = 442.31 MB/sec
Timing O_DIRECT disk reads: 984 MB in 3.00 seconds = 327.75 MB/sec
root@wa-DS920Plus:~# hdparm -tT --direct /dev/nvme0n1

/dev/nvme0n1:
Timing O_DIRECT cached reads: 786 MB in 2.00 seconds = 392.26 MB/sec
Timing O_DIRECT disk reads: 1190 MB in 3.00 seconds = 396.57 MB/sec
root@wa-DS920Plus:~# hdparm -tT --direct /dev/md3

/dev/md3:
Timing O_DIRECT cached reads: 856 MB in 2.00 seconds = 427.63 MB/sec
Timing O_DIRECT disk reads: 1340 MB in 3.00 seconds = 446.64 MB/sec
root@wa-DS920Plus:~# hdparm -tT --direct /dev/md2

/dev/md2:
Timing O_DIRECT cached reads: 914 MB in 2.00 seconds = 456.23 MB/sec
Timing O_DIRECT disk reads: 638 MB in 3.00 seconds = 212.40 MB/sec
root@wa-DS920Plus:~#

 

[maxblank]

Filesystem              Size  Used Avail Use% Mounted on
/dev/md0                7.9G  1.5G  6.3G  20% /
devtmpfs                 16G     0   16G   0% /dev
tmpfs                    16G  244K   16G   1% /dev/shm
tmpfs                    16G   20M   16G   1% /run
tmpfs                    16G     0   16G   0% /sys/fs/cgroup
tmpfs                    16G  1.9M   16G   1% /tmp
/dev/mapper/cryptvol_2  1.8T  1.2T  591G  67% /volume2                                    NVME WD Black SN850 RAID1 2*2 TB
/dev/mapper/cryptvol_1  849G   36G  813G   5% /volume1                                   Samsung SM883 Basic    960 GB
/dev/mapper/cryptvol_3   11T  3.0T  7.6T  29% /volume3                                       Seagate Ironwolf RAID10 4*6 TB
tmpfs                   1.0T     0  1.0T   0% /dev/virtualization


root@DS1621xs:~# dd if=/dev/mapper/cryptvol_2 of=/dev/null bs=10M count=500
500+0 records in
500+0 records out
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 3.62031 s, 1.4 GB/s


root@DS1621xs:~# dd if=/dev/mapper/cryptvol_1 of=/dev/null bs=10M count=500
500+0 records in
500+0 records out
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 9.25211 s, 567 MB/s


root@DS1621xs:~# dd if=/dev/mapper/cryptvol_3 of=/dev/null bs=10M count=500
500+0 records in
500+0 records out
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 11.0818 s, 473 MB/s

 

[plang.pl]

root@srv-file:~# hdparm -tT --direct /dev/sata1
/dev/sata1:
 Timing O_DIRECT cached reads:   922 MB in  2.00 seconds = 460.97 MB/sec
 Timing O_DIRECT disk reads: 790 MB in  3.00 seconds = 263.32 MB/sec
 
root@srv-file:~# hdparm -tT --direct /dev/nvme0n1
/dev/nvme0n1:
 Timing O_DIRECT cached reads:   786 MB in  2.00 seconds = 392.07 MB/sec
 Timing O_DIRECT disk reads: 1194 MB in  3.00 seconds = 397.34 MB/sec
 
root@srv-file:~# hdparm -tT --direct /dev/nvme1n1
/dev/nvme1n1:
 Timing O_DIRECT cached reads:   786 MB in  2.00 seconds = 393.05 MB/sec
 Timing O_DIRECT disk reads: 1180 MB in  3.00 seconds = 393.05 MB/sec

 

[maxblank]

@DS1621xs:~# hdparm -tT --direct /dev/nvme0n1
/dev/nvme0n1:
 Timing O_DIRECT cached reads:   4874 MB in  2.00 seconds = 2436.87 MB/sec
 Timing O_DIRECT disk reads: 7250 MB in  3.00 seconds = 2416.48 MB/sec
 

root@DS1621xs:~# hdparm -tT --direct /dev/nvme1n1
/dev/nvme1n1:
 Timing O_DIRECT cached reads:   4902 MB in  2.00 seconds = 2450.86 MB/sec
 Timing O_DIRECT disk reads: 7200 MB in  3.00 seconds = 2400.00 MB/sec