Benchmark / Auslastung einzelner Laufwerke eines RAID?

[mgutt]

Kann man irgendwie nachvollziehen welche der verbauten Platten die schnellste bzw langsamste ist?

 

[mgutt]

Ok, ich denke ich habe was im Ressourcen-Monitor gefunden. Da unter "Datenträger" und über "Alle anzeigen" kann man die einzelnen Laufwerke anzeigen lassen. Dabei ist Laufwerk 4 am negativsten aufgefallen. Das werde ich dann das nächste mal wechseln. Schön anzusehen sind Laufwerke 3 und 5. Die beiden sind nämlich 7200rpm statt 5400rpm Laufwerke.

 

[mgutt]

Auf Nimmerwiedersehen Laufwerk 4

Das war übrigens ein WD Red Refurbished Laufwerk. Sowas kaufe ich nie mehr.




Als nächstes wird Platte 2 dran glauben (Platte 4 ist wie man sieht noch in der Reparatur-Phase):

 

[mgutt]

So die dritte Platte ist jetzt auch durch die Konsistenzprüfung. Diesmal waren es glaube ich 6 Prüfungen. Hatte ich auch noch nicht. Jedenfalls geht es mit den drei neuen Platten schon ab wie Sau:


Vorher kam ich auf ca 400 MB/s. Die Täler kommen dadurch, dass ich parallel noch Sachen hochlade. Man kann gut im Ressourcen-Monitor sehen, dass der das gar nicht live schreibt, sondern vorher immer erst in den RAM lädt, denn immer wenn ich mit über 700 MB/s heruntergeladen habe, gab es gar keine Schreibzugriffe auf den Datenträgern und das obwohl unter Netzwerk der Upload von 50 MB/s durchgehend vorhanden war. Da macht sich der große RAM bezahlt. Ich will noch mehr RAM ^^

Die 4. Platte baue ich erst in ein paar Tagen ein. Das NAS soll jetzt erst mal wieder was arbeiten

 

[peterhoffmann]

Du machst hier den Alleinunterhalter. Ich klinke mich daher mal ein.

Die Werte pro HDD im Ressourcenmanager halte ich für Hausnummernraterei.

Hast du es mal mit hdparm probiert?
Die zu testende HDD sollte für den Test mit hdparm ohne Last sein.

für sda => hdparm -tT --direct /dev/sda
für sdb => hdparm -tT --direct /dev/sdb
für sdc => hdparm -tT --direct /dev/sdc
usw.

Weiterführender Link:
https://wiki.ubuntuusers.de/Festplatten-Geschwindigkeitstest/#Test-2-ohne-Cache

Weitere Parameter findest du so:

hdparm --help

(ohne Gewähr, vorsichtige Herangehensweise empfohlen)

 

[mgutt]

Die Werte pro HDD im Ressourcenmanager halte ich für Hausnummernraterei.

Warum? Hältst du es nicht für erkennbar, dass Laufwerk 2 und insbesondere 4 die Bremsen im Raid waren? Ich habe zwar nur den einen Screenshot hochgeladen, aber ich habe natürlich das Diagramm über eine längere Zeit beobachtet und Laufwerk 4 hatte durchgehend die höchste Last. Das sieht man auch hier bei Laufwerk 2 im Diagramm im Hintergrund:


Wobei ich zugeben muss, dass ich nach Ausbau von Laufwerk 4 (WD60EFRX) im Vergleich zu diesem Test keinerlei Auffälligkeiten im Benchmark erkennen kann:


hdparm teste ich, wenn auf dem NAS Ruhe einkehrt. Sobald Laufwerk 2 ausgebaut ist, werde ich das auch noch mal in Windows benchmarken. Das sollte in der Theorie ja 10% schneller sein.

EDIT: Die Platten in Ruhe versetzen war gar nicht so einfach. Erstmal habe ich die Firewall aktiviert und alles bis auf Port 5000 und 22 gesperrt. Dann habe ich die Datenflusssteuerung auf allen Zielen auf 128K limitiert. Und zuletzte habe ich alle Pakete gestoppt und im Aufgabenplaner alle Scripte deaktiviert. Dann habe ich hdparm ausgeführt:

ash-4.3# hdparm -tT --direct /dev/sda

/dev/sda:
 Timing O_DIRECT cached reads:   896 MB in  2.00 seconds = 447.57 MB/sec
 Timing O_DIRECT disk reads: 506 MB in  3.01 seconds = 167.99 MB/sec
ash-4.3# hdparm -tT --direct /dev/sdb

/dev/sdb:
 Timing O_DIRECT cached reads:   918 MB in  2.00 seconds = 458.20 MB/sec
 Timing O_DIRECT disk reads: 488 MB in  3.01 seconds = 162.23 MB/sec
ash-4.3# hdparm -tT --direct /dev/sdc

/dev/sdc:
 Timing O_DIRECT cached reads:   966 MB in  2.00 seconds = 482.85 MB/sec
 Timing O_DIRECT disk reads: 784 MB in  3.00 seconds = 261.23 MB/sec
ash-4.3# hdparm -tT --direct /dev/sdd

/dev/sdd:
 Timing O_DIRECT cached reads:   962 MB in  2.00 seconds = 480.48 MB/sec
 Timing O_DIRECT disk reads: 768 MB in  3.00 seconds = 255.59 MB/sec
ash-4.3# hdparm -tT --direct /dev/sde

/dev/sde:
 Timing O_DIRECT cached reads:   962 MB in  2.00 seconds = 480.45 MB/sec
 Timing O_DIRECT disk reads: 714 MB in  3.00 seconds = 237.85 MB/sec
ash-4.3# hdparm -tT --direct /dev/sdf

/dev/sdf:
 Timing O_DIRECT cached reads:   896 MB in  2.00 seconds = 447.26 MB/sec
 Timing O_DIRECT disk reads: 526 MB in  3.01 seconds = 174.74 MB/sec

Ich habe sie auch mal jeweils wiederholt und die Schwankungen lagen bei +/- 1MB/s.

Fazit:
Laufwerk 2 ist wie schon vermutet das langsamste (wenn auch nur knapp). Allerdings ist das neue Laufwerk 5 auch nicht gerade das gelbe vom Ei. Da könnte man am Ende also darüber nachdenken das noch mal durchzutauschen.

Ich denke mal wegen dem Raid wird man keinen Schreibtest auf einzelne Platten machen können oder?

 

[peterhoffmann]

Hältst du es nicht für erkennbar, dass Laufwerk 2 und insbesondere 4 die Bremsen im Raid waren?

Doch. Die Frage ist woran das am Ende liegt.

Ich denke mal wegen dem Raid wird man keinen Schreibtest auf einzelne Platten machen können oder?

Mir ist keiner bekannt.

 

[mgutt]

Doch. Die Frage ist woran das am Ende liegt.

Ich denke es liegt daran, dass es ein Refurbished Laufwerk ist. Wenn ich Laufwerk 2 tausche, dann sehe ich ja was das fürs eins ist.

Einen anderen Grund kann ich jedenfalls nicht erkennen. Außer bestimmte SATA Slots wären langsamer als andere. Oder extreme Defragmentierung nur auf bestimmten Laufwerken?!

 

[mgutt]

Nun habe ich Laufwerk 2 ersetzt. Es war eine normale WD Red verbaut. Aktuell läuft wieder die Konsistenzprüfung. Diesmal deutlich schneller als bei den Runden zuvor. Die steigende Anzahl schnellerer Laufwerke macht sich also auch hier bemerkbar. Fein.

Während das lief habe ich natürlich auch mal wieder das Diagramm offen gelassen:



Man kann erkennen, dass Laufwerk 6 minimal mehr ausgelastet ist als Laufwerk 1 (erkennt man daran, dass die meisten Spitzen rot gefärbt sind). Aber sie liegen ziemlich nah aneinander. Was allerdings diesmal auffällt ist, dass die gestrige Analyse mit hdparm eigentlich das Gegenteil ergeben hat:

/dev/sda:
Timing O_DIRECT disk reads: 506 MB in 3.01 seconds = 167.99 MB/sec
/dev/sdf:
Timing O_DIRECT disk reads: 526 MB in 3.01 seconds = 174.74 MB/sec

Jetzt die heilige Frage wem man mehr Glauben schenkt

Ich tippe darauf, dass beide Recht haben. Und zwar sieht man in der "Lesen(/s)", was denke ich mal die IOPS sind, dass Laufwerk 6 mehr macht als Laufwerk 1. Ich habe auch mal die Tabelle nach IOPS sortiert und von Laufwerk 6 wird durchgehend mehr als von Laufwerk 1 gelesen. Das erklärt denke ich, dass Laufwerk 6 bei der Auslastung schlechter abschneidet und es gibt in Wirklichkeit kein Leistungsdefizit.

Tatsächlich findet man das auch bestätigt, wenn man sich die oberen Screenshots noch mal anschaut. Dort waren entweder weniger oder gleiche viele IOPS wie bei den anderen Laufwerken vorhanden, aber die Laufwerke 2 und 4 waren trotzdem deutlich höher ausgelastet. Es war also begründet diese zuerst auszutauschen. Ich würde daher schon sagen, dass man dem Ressourcen-Monitor hier trauen kann. Man muss nur eben auch auf die IOPS achten.

 

[synfor]

ash-4.3# hdparm -tT --direct /dev/sdc

/dev/sdc:
 Timing O_DIRECT cached reads:   966 MB in  2.00 seconds = 482.85 MB/sec
 Timing O_DIRECT disk reads: 784 MB in  3.00 seconds = 261.23 MB/sec
ash-4.3# hdparm -tT --direct /dev/sdd

/dev/sdd:
 Timing O_DIRECT cached reads:   962 MB in  2.00 seconds = 480.48 MB/sec
 Timing O_DIRECT disk reads: 768 MB in  3.00 seconds = 255.59 MB/sec
ash-4.3# hdparm -tT --direct /dev/sde

/dev/sde:
 Timing O_DIRECT cached reads:   962 MB in  2.00 seconds = 480.45 MB/sec
 Timing O_DIRECT disk reads: 714 MB in  3.00 seconds = 237.85 MB/sec
ash-4.3# hdparm -tT --direct /dev/sdf

Was sind das für Platten und sind die Werte für diese realistisch? Also schaffen die laut Hersteller tatsächlich mehr als 250 MB/s?

 

[mgutt]

Was sind das für Platten und sind die Werte für diese realistisch?

Ja. Das sind WD DC HC520. Laut Datenblatt:

Sustained transfer rate *
(MiB/s, typical) 243
(MB/s, typical) 255

* Advanced Format drive: 4K (4096-byte) physical
sectors

Du spielst denke ich auf die Garantie an. Ich denke da werde ich aber abwarten bis ich noch 3 Laufwerke gekauft habe. Also noch eins als Ersatz habe und das dann bereits ausgetauscht habe.

 

[mgutt]

Die Prüfung ist übrigens fertig. Die letzte hat wieder sehr lange gedauert. Ich tippe darauf, dass durch den ständigen Wechsel der Laufwerksgrößen sich die Partitionen auf den Laufwerken mehrfach anpassen und dadurch dann auch die Wiederholungen und die Dauer. Soll heißen bei einem Tausch gegen eine gleich große Platte dauert es vermutlich nicht so lange.