NVME SSD als Volume nutzen - Erfahrungen

maxblank

Benutzer
Contributor
Sehr erfahren
Mitglied seit
25. Nov 2022
Beiträge
3.953
Punkte für Reaktionen
2.065
Punkte
269
Dann können die Werte von @ctrlaltdelete oben mit Tests auf die NVMEs fast nicht hinkommen, da wird anscheinend über RAM gecacht oder CDM erzeugt Daten, die komprimiert werden.
 

ctrlaltdelete

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
13.346
Punkte für Reaktionen
5.602
Punkte
524
In der 920+ sind die nvmes langsamer angebunden als in der 923+
ja, die Info habe ich auch.
Ich bin mit der Performance meines NVME-Speicherpools trotzdem zufrieden, mir geht es auch eher um die IOPS gerade für die VMs. Und solange ich meine 2,5 Gbit LAN Anbindung sättigen kann bin ich zufrieden.
 

peterhoffmann

Benutzer
Sehr erfahren
Mitglied seit
17. Dez 2014
Beiträge
6.057
Punkte für Reaktionen
1.855
Punkte
254
Um Werte "näher am System" zu ermitteln, könnte man auf der Konsole mit dd rumtesten.
Zum Beispiel (lesen):
Code:
dd if=/dev/sata1 of=/dev/null bs=10M count=500
(liest 5GB (10Mx500) von Sata1 und wirft sie in /dev/null)
In Gegenrichtung (schreiben) geht das auch, da darf man aber nicht auf /dev/sata1 schreiben, sondern muss eine Datei angeben, z.B. /volume1/ordner/datei

Beispiel DS720+:
/dev/sata1 => Samsung Evo 870 2TB
/dev/nvme0 => Samsung Evo 970 2TB

Ergebnisse:

Werte mit dd:

Code:
root@dsa / $ dd if=/dev/sata1 of=/dev/null bs=10M count=500
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 9.45308 s, 555 MB/s
root@dsa / $ dd if=/dev/nvme0n1 of=/dev/null bs=10M count=500
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 11.6343 s, 451 MB/s

Werte mit hdparm.
Code:
root@dsa / $ hdparm -tT --direct /dev/sata1
/dev/sata1:
 Timing O_DIRECT cached reads:   888 MB in  2.00 seconds = 443.38 MB/sec
 Timing O_DIRECT disk reads: 1396 MB in  3.00 seconds = 465.20 MB/sec

root@dsa / $ hdparm -tT --direct /dev/nvme0n1
/dev/nvme0n1:
 Timing O_DIRECT cached reads:   764 MB in  2.00 seconds = 381.30 MB/sec
 Timing O_DIRECT disk reads: 1170 MB in  3.00 seconds = 389.59 MB/sec

So hat man "untereinander vergleichbare" Werte.

Alle Angaben und Codeschnipsel ohne Gewähr und auf eigene Verantwortung!
 
Zuletzt bearbeitet:

ctrlaltdelete

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
13.346
Punkte für Reaktionen
5.602
Punkte
524
Ergebnisse:

Werte mit dd:

Code:
dd if=/dev/sata1 of=/dev/null bs=10M count=500 (WD red plus)
(5.2 GB, 4.9 GiB) copied, 31.8964 s, 164 MB/s

dd if=/dev/nvme0n1 of=/dev/null bs=10M count=500 (Kingston NVME-SSD)
(5.2 GB, 4.9 GiB) copied, 11.8373 s, 443 MB/s

Werte mit hdparm:
Code:
hdparm -tT --direct /dev/sata1 (WD red plus)
/dev/sata1:
 Timing O_DIRECT cached reads:   890 MB in  2.00 seconds = 444.64 MB/sec
 Timing O_DIRECT disk reads: 496 MB in  3.00 seconds = 165.30 MB/sec

/dev/md2: (3 x WD red plus SHR, BTRFS)
 Timing O_DIRECT cached reads:   1690 MB in  2.00 seconds = 845.12 MB/sec
 Timing O_DIRECT disk reads: 928 MB in  3.00 seconds = 309.33 MB/sec

hdparm -tT --direct /dev/nvme0n (Kingston NVME-SSD)
/dev/nvme0n1:
 Timing O_DIRECT cached reads:   786 MB in  2.00 seconds = 392.30 MB/sec
 Timing O_DIRECT disk reads: 1202 MB in  3.00 seconds = 400.40 MB/sec

/dev/md3: (2 x Kingston NVME-SSD, RAID1, BTRFS)
 Timing O_DIRECT cached reads:   736 MB in  2.01 seconds = 365.53 MB/sec
 Timing O_DIRECT disk reads: 1178 MB in  3.00 seconds = 392.56 MB/sec
 
Zuletzt bearbeitet:

peterhoffmann

Benutzer
Sehr erfahren
Mitglied seit
17. Dez 2014
Beiträge
6.057
Punkte für Reaktionen
1.855
Punkte
254

ctrlaltdelete

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
13.346
Punkte für Reaktionen
5.602
Punkte
524
Ja, korrekt, habe die Konfiguration in () dahinter gesetzt.
 

Benares

Benutzer
Sehr erfahren
Mitglied seit
27. Sep 2008
Beiträge
13.611
Punkte für Reaktionen
3.639
Punkte
468
Hier zum Vergleich auch mal die Werte meiner DS1522+
Code:
root@DS1522:/volume1/daten# hdparm -tT --direct /dev/sata1

/dev/sata1:
 Timing O_DIRECT cached reads:   1004 MB in  2.00 seconds = 501.18 MB/sec
 Timing O_DIRECT disk reads: 650 MB in  3.01 seconds = 216.21 MB/sec
root@DS1522:/volume1/daten# hdparm -tT --direct /dev/md2

/dev/md2:
 Timing O_DIRECT cached reads:   1198 MB in  2.00 seconds = 598.18 MB/sec
 Timing O_DIRECT disk reads: 1240 MB in  3.00 seconds = 413.16 MB/sec
root@DS1522:/volume1/daten# hdparm -tT --direct /dev/nvme0n1

/dev/nvme0n1:
 Timing O_DIRECT cached reads:   1504 MB in  2.00 seconds = 751.54 MB/sec
 Timing O_DIRECT disk reads: 2196 MB in  3.00 seconds = 731.54 MB/sec
root@DS1522:/volume1/daten# hdparm -tT --direct /dev/md3

/dev/md3:
 Timing O_DIRECT cached reads:   1476 MB in  2.00 seconds = 737.26 MB/sec
 Timing O_DIRECT disk reads: 2252 MB in  3.00 seconds = 750.48 MB/sec

md2 ist ein SHR-Raid5 mit 3 Platten, md3 eine NVME-SSD. Ich war von den relativ guten Werten der Platten überrascht. Man sieht auch schön, dass es beim Raid durch das parallele Lesen etwas schneller geht als mit einer einzelnen Platte. Auch scheint die NVME-SSD deutlich schneller angebunden zu sein als bei @ctrlaltdelete.

Ganz interessant sind auch die dd-Tests (s. hier) Da kommen die Platten auf ~350MB/s schreibend/lesend, die NVME-SDD wieder auf 750MB/s. Interessant ist auch, dass, wenn man das Testfile ein zweites Mal liest, es komplett aus dem RAM-Cache bedient wird (7-8 GB/s) egal ob HDD oder SSD.
 

peterhoffmann

Benutzer
Sehr erfahren
Mitglied seit
17. Dez 2014
Beiträge
6.057
Punkte für Reaktionen
1.855
Punkte
254

Benares

Benutzer
Sehr erfahren
Mitglied seit
27. Sep 2008
Beiträge
13.611
Punkte für Reaktionen
3.639
Punkte
468
Ja klar, ist in der Anleitung ja auch beschrieben. Aber man sieht halt auch schön, was der RAM-Cache bringt, wenn etwas mehrfach gelesen wird und dass es keine Rolle spielt ob es ursprünglich von HDD oder SSD kam.
 

ctrlaltdelete

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
13.346
Punkte für Reaktionen
5.602
Punkte
524
Ich habe mal meine Werte erweitert um die Ergebnisse der Speicherpools 3x WD SHR und 2 x NVME RAID1.
Der Unterschied zur DS1522+ ist deutlich, allerdings sind deine WD red plus 14 TB auch schneller.
Vielen Dank für eure "Testerei".
 
  • Like
Reaktionen: peterhoffmann

ctrlaltdelete

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
13.346
Punkte für Reaktionen
5.602
Punkte
524
Fazit: Sparen auf eine DS15/16/1825+
Edit: Meint ihr mein SHR wird wesentlich schneller mit 4 HDDs, bin auch am überlegen von SHR auf RAID5 umzubauen, aber das ist mir glaube ich zu viel Action.
 
Zuletzt bearbeitet:
  • Haha
Reaktionen: Benie

Benie

Benutzer
Contributor
Sehr erfahren
Mitglied seit
19. Feb 2014
Beiträge
8.245
Punkte für Reaktionen
3.371
Punkte
344
Ja, da habe ich bei Anschaffung meiner DS 920+ Ende letzten Jahres nicht weit genug geschaut. Aber als Trost, bisher waren wir doch auch mit unserer 920+ zufrieden ;)
 
  • Like
Reaktionen: ctrlaltdelete

ctrlaltdelete

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
13.346
Punkte für Reaktionen
5.602
Punkte
524
Absolut, ich habe die DS920+ jetzt 3 Jahre und bin wirklich happy mit dem NAS.
Habe gestern noch ein wenig gebastelt und nun zeichnet die SS auf USB HDD auf und ich werde die dadurch freigewordene 4. Bay für die Erweiterung meines SHR auf 4 HDDs nutzen.
Sorry, genug offtopic jetzt.
 
  • Like
Reaktionen: Benie

Thonav

Benutzer
Sehr erfahren
Mitglied seit
16. Feb 2014
Beiträge
7.886
Punkte für Reaktionen
1.509
Punkte
274
Edit: Meint ihr mein SHR wird wesentlich schneller mit 4 HDDs, bin auch am überlegen von SHR auf RAID5 umzubauen, aber das ist mir glaube ich zu viel Action.
Nö, meine DS923+ mit SHR WD Reds und 2 NVMe Raid1 liefern vergleichbare Werte wie die vom @Benares. Ich denke es liegt an der Hardware und mal im Ernst - meinst Du, dass Du die Unterschiede im täglichen Leben merken wirst?
 
  • Haha
Reaktionen: ctrlaltdelete

ctrlaltdelete

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
13.346
Punkte für Reaktionen
5.602
Punkte
524
ontopic, @Benie was erreichst du denn für Werte mit den WD NVME SSDs, kommst du über 400 MB/s?
 

ctrlaltdelete

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
30. Dez 2012
Beiträge
13.346
Punkte für Reaktionen
5.602
Punkte
524
@Thonav nein, mit Sicherheit nicht und das LAN ist eh der Flaschenhals mit max. 250 MB/s. Aber man wird ja mal ein wenig träumen dürfen :cool:
 

Benie

Benutzer
Contributor
Sehr erfahren
Mitglied seit
19. Feb 2014
Beiträge
8.245
Punkte für Reaktionen
3.371
Punkte
344
@Benie was erreichst du denn für Werte mit den WD NVME SSDs

Hier sind meine Werte:

root@wa-DS920Plus:~# hdparm -tT --direct /dev/sata1

/dev/sata1:
Timing O_DIRECT cached reads: 886 MB in 2.00 seconds = 442.31 MB/sec
Timing O_DIRECT disk reads: 984 MB in 3.00 seconds = 327.75 MB/sec
root@wa-DS920Plus:~# hdparm -tT --direct /dev/nvme0n1

/dev/nvme0n1:
Timing O_DIRECT cached reads: 786 MB in 2.00 seconds = 392.26 MB/sec
Timing O_DIRECT disk reads: 1190 MB in 3.00 seconds = 396.57 MB/sec
root@wa-DS920Plus:~# hdparm -tT --direct /dev/md3

/dev/md3:
Timing O_DIRECT cached reads: 856 MB in 2.00 seconds = 427.63 MB/sec
Timing O_DIRECT disk reads: 1340 MB in 3.00 seconds = 446.64 MB/sec
root@wa-DS920Plus:~# hdparm -tT --direct /dev/md2

/dev/md2:
Timing O_DIRECT cached reads: 914 MB in 2.00 seconds = 456.23 MB/sec
Timing O_DIRECT disk reads: 638 MB in 3.00 seconds = 212.40 MB/sec
root@wa-DS920Plus:~#
 

maxblank

Benutzer
Contributor
Sehr erfahren
Mitglied seit
25. Nov 2022
Beiträge
3.953
Punkte für Reaktionen
2.065
Punkte
269
Code:
Filesystem              Size  Used Avail Use% Mounted on
/dev/md0                7.9G  1.5G  6.3G  20% /
devtmpfs                 16G     0   16G   0% /dev
tmpfs                    16G  244K   16G   1% /dev/shm
tmpfs                    16G   20M   16G   1% /run
tmpfs                    16G     0   16G   0% /sys/fs/cgroup
tmpfs                    16G  1.9M   16G   1% /tmp
/dev/mapper/cryptvol_2  1.8T  1.2T  591G  67% /volume2                                    NVME WD Black SN850 RAID1 2*2 TB
/dev/mapper/cryptvol_1  849G   36G  813G   5% /volume1                                   Samsung SM883 Basic    960 GB
/dev/mapper/cryptvol_3   11T  3.0T  7.6T  29% /volume3                                       Seagate Ironwolf RAID10 4*6 TB
tmpfs                   1.0T     0  1.0T   0% /dev/virtualization


root@DS1621xs:~# dd if=/dev/mapper/cryptvol_2 of=/dev/null bs=10M count=500
500+0 records in
500+0 records out
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 3.62031 s, 1.4 GB/s


root@DS1621xs:~# dd if=/dev/mapper/cryptvol_1 of=/dev/null bs=10M count=500
500+0 records in
500+0 records out
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 9.25211 s, 567 MB/s


root@DS1621xs:~# dd if=/dev/mapper/cryptvol_3 of=/dev/null bs=10M count=500
500+0 records in
500+0 records out
5242880000 bytes (5.2 GB, 4.9 GiB) copied, 11.0818 s, 473 MB/s
 
  • Like
Reaktionen: ctrlaltdelete

plang.pl

Benutzer
Contributor
Sehr erfahren
Maintainer
Mitglied seit
28. Okt 2020
Beiträge
15.029
Punkte für Reaktionen
5.400
Punkte
564
Code:
root@srv-file:~# hdparm -tT --direct /dev/sata1
/dev/sata1:
 Timing O_DIRECT cached reads:   922 MB in  2.00 seconds = 460.97 MB/sec
 Timing O_DIRECT disk reads: 790 MB in  3.00 seconds = 263.32 MB/sec
 
root@srv-file:~# hdparm -tT --direct /dev/nvme0n1
/dev/nvme0n1:
 Timing O_DIRECT cached reads:   786 MB in  2.00 seconds = 392.07 MB/sec
 Timing O_DIRECT disk reads: 1194 MB in  3.00 seconds = 397.34 MB/sec
 
root@srv-file:~# hdparm -tT --direct /dev/nvme1n1
/dev/nvme1n1:
 Timing O_DIRECT cached reads:   786 MB in  2.00 seconds = 393.05 MB/sec
 Timing O_DIRECT disk reads: 1180 MB in  3.00 seconds = 393.05 MB/sec
 

maxblank

Benutzer
Contributor
Sehr erfahren
Mitglied seit
25. Nov 2022
Beiträge
3.953
Punkte für Reaktionen
2.065
Punkte
269
Code:
@DS1621xs:~# hdparm -tT --direct /dev/nvme0n1
/dev/nvme0n1:
 Timing O_DIRECT cached reads:   4874 MB in  2.00 seconds = 2436.87 MB/sec
 Timing O_DIRECT disk reads: 7250 MB in  3.00 seconds = 2416.48 MB/sec
 

root@DS1621xs:~# hdparm -tT --direct /dev/nvme1n1
/dev/nvme1n1:
 Timing O_DIRECT cached reads:   4902 MB in  2.00 seconds = 2450.86 MB/sec
 Timing O_DIRECT disk reads: 7200 MB in  3.00 seconds = 2400.00 MB/sec
 
  • Like
Reaktionen: ctrlaltdelete


 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat