PowerPC (ppc_85xx) Performancemessung DS410

[LeeRoy]

Hi,

habe auf meiner DS410 ein paar typische Workloads nach SNIA Best Practice mit einem Lastgenerator nachgestellt und gemessen.

Umgebung
Storage: DS410 mit 4 x Samsung HD103SJ (1TB, 7.2k rpm, 32 MB Cache) die
zu einem RAID5 konfiguriert sind.
Client: Quad Core Intel Q9450 mit 8 GB RAM
Windodws 7 Ultimate 64-bit (CIFS, iSCSI), Solaris 10 x64 (NFS)
Netzwerk: Gigabit Ethernet, 7k Jumbo Frames

Workload Definitionen
OLTP: 60% Read, 40% Write, 80% Random, 8k Blocksize
Application: 80% Read, 20% Write, 80% Random, 8k Blocksize
Backup: 100% Read, 0% Write, 0% Random, 64k Blocksize
Restore: 0% Read, 100% Write, 0% Random, 64k Blocksize
Streaming: 100% Read, 0% Write, 0% Random, 256k Blocksize

Protokolle
CIFS, NFS, iSCSI mit NTFS 4k Blocksize und iSCSI mit NTFS 8k Blocksize.

Ergebnisse (I/Os pro Sekunde, Durchsatz, Latenz)
### NFS ###
OLTP: 239 IOps, 1.913 kB/s, 16,73 ms
Application: 160 IOps, 1.278 kB/s, 25,03 ms
Backup: 1.413 IOps, 90.423 kB/s, 2,83 ms
Restore: 905 IOps, 57.914 kB/s, 4,42 ms
Streaming: 381 IOps, 97.434 kB/s, 10,51 ms

### CIFS ###
OLTP: 214 IOps, 1.709 kB/s, 18,73 ms
Application: 210 IOps, 1.682 kB/s, 19,03 ms
Backup: 1.549 IOps, 99.155 kB/s, 2,58 ms
Restore: 693 IOps, 44.339 kB/s, 5,77 ms
Streaming: 385 IOps, 98.627 kB/s, 10,38 ms

### iSCSI 4k NTFS Blocksize ###
OLTP: 191 IOps, 1.525 kB/s, 20,98 ms
Application: 142 IOps, 1.133 kB/s, 28,23 ms
Backup: 1.294 IOps, 82.827 kB/s, 3,01 ms
Restore: 795 IOps, 50.907 kB/s, 5,03 ms
Streaming: 392 IOps, 100.352 kB/s, 10,2 ms

### iSCSI 8k NTFS Blocksize ###
OLTP: 187 IOps, 1.498 kB/s, 21,36 ms
Application: 158 IOps, 1.266 kB/s, 25,27 ms
Backup: 1.332 IOps, 85.278 kB/s, 3,0 ms
Restore: 784 IOps, 50.176 kB/s, 5,1 ms
Streaming: 371 IOps, 94950 kB/s, 10,78 ms

Fazit
NFS scheint sich für OLTP und Restore Workloads gut zu eignen
CIFS scheint sich für Application und Backup Workloads gut zu eignen
iSCSI mit 4k NTFS Blocksize erzielt bei Streaming die besten Ergebnisse.

Ich war etwas überrascht, dass CIFS im Vergleich zu den anderen Protokollen so gut abschneidet, da SMB 1.0 doch recht "chatty" ist.

Mit ein paar virtuellen Maschinen unter VMware Workstation hatte ich auf CIFS immer weder Probleme, dass plötzlich eine vmdk Datei nicht mehr ansprechbar war. Seit ich die VMs nun auf iSCSI mit 8k NTFS Blocksize verschoben habe, läuft das einwandfrei.

Noch etwas: zu keinem Zeitpunkt waren lt. DSM Resource Monitor CPU oder Memory der Engpass. Mit Gigabit netto payload wohl am ehesten noch das Netzwerk. Wenn man lokal auf der DS ein sehr großes File erzeugt (z.B. mit dd), kann man mit iostat beim Schreiben schon mal 70 MB/s auf das RAID5 sehen. Bei den Workloads mit hohem Random Anteil sind sicher die Kopfbewegungen der Platten das Bottleneck.

Mich würden auch Eure Ergebnisse von anderen DS-Modellen und/oder Konfigurationen interessieren.

Gruß
LeeRoy

 

[itari]

Da hast ja richtig Arbeit reingesteckt - super!

Was mich interessieren würde, wäre, ob man durch Tuningmaßnahmen diese Werte 'schlechter' oder 'besser' machen kann.

Warum dieses Statement? Es gibt ja Hunderte von Beiträgen hier im Forum, wo Leute sich über ihre Performance beklagen und wo nach ein paar Änderungen am Netzwerk und/oder an der Konfiguration des DS oder des angeschlossenen PCs sich auf einmal die Performance beträchtlich verbessern ließ. Weil das ein nachweisbarer Effekt ist, wäre es jetzt schon außerhalb der Wahrscheinlichkeiten, wenn deine Konfiguration bereits 'optimal' wäre. Ich hoffe, ich kann deinen Ehrgeiz wecken, dass du dich jetzt ans Tunig machst und mindestens die Synology-Benchmarks alle übertriffst und deine eigenen Messungen um mindesten 20% verbesserst.

Itari

 

[netzwerker]

Sehr interessante Werte. Hast Du auch mal mit anderen MTUs getestet? Welchen Lastgenerator benutzt Du?

Mirko

 

[LeeRoy]

@itari: für CIFS fallen mir keine Tuningmaßnahmen ein, bei NFS habe ich 32k TCP Window Size und entsprechende Kernelparameter für den Netzwerk und TCP STack eingestellt. Bei iSCSI kann ich nur sagen dass das Alignment der Partition auf der LUN sehr sehr wichtig ist. Sollte bei MBR 64k sein, bei GPT ist es ohnehin 1024k. Hab mal einen falschen offset eingestellt und sämtliche Messwerte haben sich nahezu halbiert. Die LUN ist auf der DS ja nichts weiter als ein riesiges File das auf ext3/4 mit 4k Blöcken liegt. Entsprechend soll der Offset in der LUN ein Vielfaches von 4k sein. Andernfalls muss die DS 2 Blöcke lesen/schreiben wenn das Guest OS einen Block liest/schreibt.
MTU kann ich nicht mit 9k testen weil das meine NIC nicht hergibt. Ich tröste mich mal damit dass ich mit 9k näher an die original DS Werte rangekommen wäre ;-)

@netzwerker: Mit standard MTU 1500 sind die Werte besonders bei den sequentiellen Workloads geringer, etwa zwischen 5 und 10 %.
Zur Messung habe ich sio_ntap von NetApp verwendet und mit IOmeter "Quergemessen". Deckt sich weitestgehend.

 

[itari]

Danke für die Ausführungen zu der Messung

Vielleicht könnten wir ja etwas ausführlicher das Testszenario und die Tools vorgestellt bekommen (ev. mit Link). Dann könnte der/die eine oder andere auch Messungen durchführen und hier hinein setzen. Vielleicht wäre es auch etwas für unser Wiki. Ich bitte um eine heftige Diskussion.

Wenn ich irgend etwas Unterstützendes in mein AdminTool einbauen kann, dann bitte abfordern. Im AdminTool gibt es auch 3 Performance messende Tests: der IPKG dstat, der olle BYTEmark und mein FileBench. Die Ergebnisse vom BYTEmark sind auch ins Wiki übernommen worden (Prozessoren).

Itari

 

[LeeRoy]

Tools für Storage-Performancemessung:

IOmeter
IOmeter ist freeware und unter http://www.iometer.org erhältlich. Letzte Stable Version von 2006 aber
an dem was es zu messen gibt hat sich seither ja nichts dramatisch geändert.
Ich habe eine kleine Anleitung zum Setup der von mir beschriebenen Performancemessungen erstellt und an diesen Thread angehängt.
Die wichtigen Felder hab ich in den Screenshots gelb markiert.
Das Tool wird übrigens auch von namhaften Storageherstellern für Prove of concepts verwendet.

sio_ntap
Das sio_ntap Tool ist freeware von NetApp, für den Download muss man jedoch im NOW (NetApp on the Web), der Supportseite von NetApp registriert sein.
Ich trau mich das deshalb nicht hier zum Download reinzustellen, am Ende werde ich noch erschossen oder so
Das Tool ist u.a. für windows, linux, solaris, hp-ux, aix erhältlich, hier der Syntax:

sio_win32 <read %> <random %> <Blocksize> <start> <end> <seconds> <threads> <file>

Zum Beispiel für den OLTP Workload:

sio_win32 60 80 8k 0 10g 600 4 j:\bigfile.10g

Das File muss vorher erstellt werden, z.B. auf der DS mit dd.


Viel Spaß beim Testen, ich bin gespannt auf Eure Ergebnisse !

Gruß
LeeRoy

 

[blackfir3]

Was mich wundert, habe bei meiner DS410 über FTP schlechte Geschwindigkeit.
Datenträger im PC ist eine Super Talent Ultradrive GX MLC 64GB. 200 MB/s read, 110 MB/s write.

FTP:
DS --> PC: max 27 MB/s
PC --> DS: max 18 MB/s

Samba / Windowsnetzwerkumgebung:

DS --> PC: ~ 100 MB/s
PC --> DS: ~ 50 MB/s

Woran kann das liegen?

 

[LeeRoy]

Hm, das hat in etwa die Spritzigkeit einer Weinbergschnecke.

Welchen FTP Client benutzt Du ?

Mit WinSCP im FTP modus hab bei PC --> DS ich eben ca. 45 MB/s erreicht, mit dem 08/15 FTP Client von Windows 7 eben sogar 68 MB/s.

Welche DSM Version hast Du ? SChau Dir doch mal den dort aktiven FTP Daemon an: /usr/syno/sbin/ftpd -version

--> Bei mir SmbFTPD Ver 2.0

Hast Du ggf. beim FTP des DSM SSL only aktiviert und/oder eine Bandwith Restriction ?

Gruß
LeeRoy

 

[blackfir3]

UPS
SSL only war an, und auch damit eingeloggt.
Sorry das ich nich selbst draufgekommen bin.
FTP Client is übrigens FTPRush.

 

[LeeRoy]

Hauptsache es läuft wieder

 

[JoGi65]

Kann mir wer sagen, wie ich bei iometer mein Netzwerklaufwerk angezeigt bekomme? Die ANleitung hab ich mir durchgelesen, sowohl die da oben, als auch das Manual. Aber so wie es ausschaut, muß ich da auf der Syno auch was starten?

Oder gibt es ein alternatives Testtool?