DS Benchmark - Ein Testszenairo

[tmbnas]

alle hier vorgeschlagenen Tests sind plattenlastig ... man sieht ja recht schön, dass nicht alle Tests in gleicher Weise zueinander proportional sind, was sie aber tendentiell sein müssten, wenn nur die CPU-Leistung gemessen werden würde ... ein schöner CPU-Test wäre mit dem "bc" recht einfach durchzuführen: 2^4242

Itari

So ich habe den Test mit zwei WD RED WD20EFRX wiederholt und keine nennenswerten Unterschiede gesehen bis auf den MySQL-Test. Dort hat sich die Zeit von 61 sec auf 59s (mehrmals die gleiche Zeit bekommen) reduziert. Beobachtet man die 212+ so stellt man vor allem beim Fototest (1. Szenario) fest, dass in 1-3 Sekunden Abständen auf die Platten zugegriffen wird. Test 1 und 4 sind definitiv rechenintensiv und da ist eindeutig der Prozessor die Bremse.

 

[dil88]

Zunächst wünsche ich allen ein frohes Fest und möchte mich herzlich bei geimist für den DS Benchmark bedanken, den ich für eine ganz hervorragende Idee halte. Mit meiner neuen DS214+ kann ich nun auch selbst einen Beitrag leisten. Dabei vorweg die Anmerkung, dass die Zahlen unter DSM 4.3-3810 ermittelt wurden:

[TABLE="class: grid, align: center"]
[TR]
[TD][/TD]
[TD]CPU / GHz
[/TD]
[TD]PhotoStation[/TD]
[TD]Apache[/TD]
[TD]MySQL[/TD]
[TD]Komprimierung[/TD]
[TD]CPU-Auslastung %[/TD]
[/TR]
[TR]
[TD]DS111[/TD]
[TD]ARM / 1,6
[/TD]
[TD]4h 13m[/TD]
[TD]23s[/TD]
[TD]111s[/TD]
[TD]71s[/TD]
[TD]100 / 100 / 100 / 100
[/TD]
[/TR]
[TR]
[TD]DS1512+[/TD]
[TD]Atom / 2x2,13
[/TD]
[TD]23m 4s[/TD]
[TD]4s[/TD]
[TD]24s[/TD]
[TD]18s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS713+[/TD]
[TD]Atom / 2x2,13
[/TD]
[TD]23m 5s[/TD]
[TD]4s[/TD]
[TD]23s[/TD]
[TD]18s[/TD]
[TD]70 / 100 / 26 / 28[/TD]
[/TR]
[TR]
[TD]DS213+[/TD]
[TD]PPC / 2x1.067
[/TD]
[TD]32m 7s[/TD]
[TD][/TD]
[TD]64s[/TD]
[TD]26,7s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS209+II[/TD]
[TD]PPC / 1,067
[/TD]
[TD]50m[/TD]
[TD]9s[/TD]
[TD]55s[/TD]
[TD]27s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS212+
[/TD]
[TD]ARM / 2,0
[/TD]
[TD]3h 33m
[/TD]
[TD]13s
[/TD]
[TD]61s
[/TD]
[TD]46s
[/TD]
[TD]100 / 100 / 100 / 100
[/TD]
[/TR]
[TR]
[TD]DS214+
[/TD]
[TD]ARM7 / 2x1,333
[/TD]
[TD]17m 55s
[/TD]
[TD]
[/TD]
[TD]46,69s
[/TD]
[TD]30s
[/TD]
[TD]80 / n/a / 50 / 50
[/TD]
[/TR]
[/TABLE]

Bei der PhotoStation ist der Marvell XP sehr schnell. Vielleicht gibt es aber auch Optimierungen im Rahmen von DSM 4.3 und der entsprechenden PhotoStation-Release. Denn Pausen (sprich niedrige CPU-Auslastung) konnte ich nicht beobachten. Die ersten 32s läuft nur die Medienindizierung (mit geringer CPU-Last), dann startet der "Konvertierungsvorgang". Solange hier Fotos und Videos gemeinsam konvertiert werden, liegt die Last bei ca. 100%. Sobald sich die Konvertierung auf Fotos beschränkt, sinkt sie auf ca. 80% ab.

Sehr interessant wäre, wenn jemand mit einer DS214play den DS-Benchmark laufen lassen könnte, da die CE5335 Intel-Atom-CPU bisher noch nicht in der Liste steht.

 

[tmbnas]

Bei der PhotoStation ist der Marvell XP sehr schnell. Vielleicht gibt es aber auch Optimierungen im Rahmen von DSM 4.3 und der entsprechenden PhotoStation-Release.

Ich kann bestätigen, dass es einen Unterschied zwischen DSM 4.2 und DSM 4.3 im Testszenario 1 - Konvertierung gibt.
Statt der 3Std 33min auf meiner 212+ mit DSM 4.2 sind es jetzt mit der aktuellen DSM 4.3 "NUR" noch 2Std 42min.
Bei den anderen Werten hat sich nichts getan.

 

[dil88]

Großartig, danke tmbnas! Ich aktualisiere die Tabelle entsprechend, so dass die Unterscheidung erleichtert wird:

[TABLE="class: grid, align: center"]
[TR]
[TD][/TD]
[TD]CPU / GHz
[/TD]
[TD]PhotoStation

DSM 4.2​

[/TD]
[TD]PhotoStation

DSM 4.3​

[/TD]
[TD]Apache[/TD]
[TD]MySQL[/TD]
[TD]Komprimierung[/TD]
[TD]CPU-Auslastung %[/TD]
[/TR]
[TR]
[TD]DS111[/TD]
[TD]ARM5 / 1,6
[/TD]
[TD]4h 13m[/TD]
[TD][/TD]
[TD]23s[/TD]
[TD]111s[/TD]
[TD]71s[/TD]
[TD]100 / 100 / 100 / 100
[/TD]
[/TR]
[TR]
[TD]DS1512+[/TD]
[TD]Atom / 2x2,13
[/TD]
[TD]23m 4s[/TD]
[TD][/TD]
[TD]4s[/TD]
[TD]24s[/TD]
[TD]18s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS713+[/TD]
[TD]Atom / 2x2,13
[/TD]
[TD]23m 5s[/TD]
[TD][/TD]
[TD]4s[/TD]
[TD]23s[/TD]
[TD]18s[/TD]
[TD]70 / 100 / 26 / 28[/TD]
[/TR]
[TR]
[TD]DS213+[/TD]
[TD]PPC / 2x1,067
[/TD]
[TD]32m 7s[/TD]
[TD][/TD]
[TD][/TD]
[TD]64s[/TD]
[TD]26,7s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS209+II[/TD]
[TD]PPC / 1,067
[/TD]
[TD]50m[/TD]
[TD][/TD]
[TD]9s[/TD]
[TD]55s[/TD]
[TD]27s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS212+
[/TD]
[TD]ARM5 / 2,0
[/TD]
[TD]3h 33m
[/TD]
[TD]2h 42m[/TD]
[TD]13s
[/TD]
[TD]61s
[/TD]
[TD]46s
[/TD]
[TD]100 / 100 / 100 / 100
[/TD]
[/TR]
[TR]
[TD]DS214+
[/TD]
[TD]ARM7 / 2x1,333
[/TD]
[TD][/TD]
[TD]17m 55s
[/TD]
[TD]
[/TD]
[TD]46,69s
[/TD]
[TD]30s
[/TD]
[TD]80 / n/a / 50 / 50
[/TD]
[/TR]
[/TABLE]

Spannend wäre, wenn jemand mit einer der übrigen DiskStations den PhotoStation-Benchmark unter DSM 4.3 ausführen könnte.

 

[geimist]

Hier auch eine Aktualisierung für die DS713+ und DSM 4.3 (Photostation):

[TABLE="class: grid, align: center"]
[TR]
[TD][/TD]
[TD]CPU / GHz
[/TD]
[TD]PhotoStation

DSM 4.2​

[/TD]
[TD]PhotoStation

DSM 4.3​

[/TD]
[TD]Apache[/TD]
[TD]MySQL[/TD]
[TD]Komprimierung[/TD]
[TD]CPU-Auslastung %[/TD]
[/TR]
[TR]
[TD]DS111[/TD]
[TD]ARM5 / 1,6
[/TD]
[TD]4h 13m[/TD]
[TD][/TD]
[TD]23s[/TD]
[TD]111s[/TD]
[TD]71s[/TD]
[TD]100 / 100 / 100 / 100
[/TD]
[/TR]
[TR]
[TD]DS1512+[/TD]
[TD]Atom / 2x2,13
[/TD]
[TD]23m 4s[/TD]
[TD][/TD]
[TD]4s[/TD]
[TD]24s[/TD]
[TD]18s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS713+[/TD]
[TD]Atom / 2x2,13
[/TD]
[TD]23m 5s[/TD]
[TD]18m 37s[/TD]
[TD]4s[/TD]
[TD]23s[/TD]
[TD]18s[/TD]
[TD]70 / 100 / 26 / 28[/TD]
[/TR]
[TR]
[TD]DS213+[/TD]
[TD]PPC / 2x1,067
[/TD]
[TD]32m 7s[/TD]
[TD][/TD]
[TD][/TD]
[TD]64s[/TD]
[TD]26,7s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS209+II[/TD]
[TD]PPC / 1,067
[/TD]
[TD]50m[/TD]
[TD][/TD]
[TD]9s[/TD]
[TD]55s[/TD]
[TD]27s[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS212+
[/TD]
[TD]ARM5 / 2,0
[/TD]
[TD]3h 33m
[/TD]
[TD]2h 42m[/TD]
[TD]13s
[/TD]
[TD]61s
[/TD]
[TD]46s
[/TD]
[TD]100 / 100 / 100 / 100
[/TD]
[/TR]
[TR]
[TD]DS214+
[/TD]
[TD]ARM7 / 2x1,333
[/TD]
[TD][/TD]
[TD]17m 55s
[/TD]
[TD]
[/TD]
[TD]46,69s
[/TD]
[TD]30s
[/TD]
[TD]80 / n/a / 50 / 50
[/TD]
[/TR]
[/TABLE]


P.S. @ dil88:
Könntest du noch einen Webservertest (Apache) mit nachschieben? Das wäre super …

 

[geimist]

Für alle, die den Apache-Test mit Windows durchführen wollen:

Auf dieser Seite ist näheres beschrieben (ist wirklich nicht schwer). Dort findet man auch einen Link für das kleine Apache Benchmarkprogramm.

Der Test geht dann so:
1.) Entpacke das Benchmarkarchiv in dein Webverzeichnis und prüfe im Browser, ob du die darin enthaltene index.php öffnen kannst (http://deineDS-IP/dsbench/index.php)
2.) Öffne die Eingabeaufforderung und wechsle (cd Zielverzeichnis) in das Verzeichnis mit dem heruntergeladenen Apache Benchmarkprogramm ab.exe.
3.) und jetzt kannst du den auf deine IP der DS angepassten Befehl absetzen

ab -n 10 -c 10 http://DIE_IP_DER_DISKSTATION/dsbench/index.php?dir=pictures

4.) Die Messdauer wird dann ausgegeben

Hier die Apache-Benchmark-EXE:
Anhang anzeigen ab.exe.zip

 

[dil88]

Ich habe den Apache-Test gemacht (danke für die Anleitung). Ergebnis folgt. Außerdem möchte ich noch eine Spalte Bootzeit hinzufügen - also die Zeit, die die DS braucht, um nach dem Einschalten die Bereitschaft zu erreichen. Geimist wird bei Gelegenheit mit der DS713+ messen, vielleicht könnte zumindest tmbnas das für die DS212+ ebenfalls tun. Meinen Messwert setze ich natürlich gleich mit 'rein in die Tabelle:

[TABLE="class: grid, align: center"]
[TR]
[TD][/TD]
[TD]CPU / GHz[/TD]
[TD]PhotoStation

DSM 4.2​

[/TD]
[TD]PhotoStation

DSM 4.3​

[/TD]
[TD]Apache[/TD]
[TD]MySQL[/TD]
[TD]Komprimierung[/TD]
[TD]CPU-Auslastung %[/TD]
[TD]Bootzeit

DSM 4.3​

[/TD]
[/TR]
[TR]
[TD]DS111[/TD]
[TD]ARM5 / 1,6[/TD]
[TD]4h 13m[/TD]
[TD][/TD]
[TD]23s[/TD]
[TD]111s[/TD]
[TD]71s[/TD]
[TD]100 / 100 / 100 / 100[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS1512+[/TD]
[TD]Atom / 2x2,13[/TD]
[TD]23m 4s[/TD]
[TD][/TD]
[TD]4s[/TD]
[TD]24s[/TD]
[TD]18s[/TD]
[TD][/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS713+[/TD]
[TD]Atom / 2x2,13[/TD]
[TD]23m 5s[/TD]
[TD]18m 37s[/TD]
[TD]4s[/TD]
[TD]23s[/TD]
[TD]18s[/TD]
[TD]70 / 100 / 26 / 28[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS213+[/TD]
[TD]PPC / 2x1,067[/TD]
[TD]32m 7s[/TD]
[TD][/TD]
[TD][/TD]
[TD]64s[/TD]
[TD]26,7s[/TD]
[TD][/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS209+II[/TD]
[TD]PPC / 1,067[/TD]
[TD]50m[/TD]
[TD][/TD]
[TD]9s[/TD]
[TD]55s[/TD]
[TD]27s[/TD]
[TD][/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS212+[/TD]
[TD]ARM5 / 2,0[/TD]
[TD]3h 33m[/TD]
[TD]2h 42m[/TD]
[TD]13s[/TD]
[TD]61s[/TD]
[TD]46s[/TD]
[TD]100 / 100 / 100 / 100[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS214+[/TD]
[TD]ARM7 / 2x1,333[/TD]
[TD][/TD]
[TD]17m 55s[/TD]
[TD]7s[/TD]
[TD]47s[/TD]
[TD]30s[/TD]
[TD]80 / 100 / 50 / 50[/TD]
[TD]75s[/TD]
[/TR]
[/TABLE]

 

[geimist]

Hier, wie gewünscht, die Bootzeit der DS713+ mit DSM 4.3 (Zeit ab drücken der Powertaste bis zum ertönen des Startpieps).

[TABLE="class: grid, align: center"]
[TR]
[TD][/TD]
[TD]CPU / GHz[/TD]
[TD]PhotoStation

DSM 4.2​

[/TD]
[TD]PhotoStation

DSM 4.3​

[/TD]
[TD]Apache[/TD]
[TD]MySQL[/TD]
[TD]Komprimierung[/TD]
[TD]CPU-Auslastung %[/TD]
[TD]Bootzeit

DSM 4.3​

[/TD]
[/TR]
[TR]
[TD]DS111[/TD]
[TD]ARM5 / 1,6[/TD]
[TD]4h 13m[/TD]
[TD][/TD]
[TD]23s[/TD]
[TD]111s[/TD]
[TD]71s[/TD]
[TD]100 / 100 / 100 / 100[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS1512+[/TD]
[TD]Atom / 2x2,13[/TD]
[TD]23m 4s[/TD]
[TD][/TD]
[TD]4s[/TD]
[TD]24s[/TD]
[TD]18s[/TD]
[TD][/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS713+[/TD]
[TD]Atom / 2x2,13[/TD]
[TD]23m 5s[/TD]
[TD]18m 37s[/TD]
[TD]4s[/TD]
[TD]23s[/TD]
[TD]18s[/TD]
[TD]70 / 100 / 26 / 28[/TD]
[TD]3m 23s[/TD]
[/TR]
[TR]
[TD]DS213+[/TD]
[TD]PPC / 2x1,067[/TD]
[TD]32m 7s[/TD]
[TD][/TD]
[TD][/TD]
[TD]64s[/TD]
[TD]26,7s[/TD]
[TD][/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS209+II[/TD]
[TD]PPC / 1,067[/TD]
[TD]50m[/TD]
[TD][/TD]
[TD]9s[/TD]
[TD]55s[/TD]
[TD]27s[/TD]
[TD][/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS212+[/TD]
[TD]ARM5 / 2,0[/TD]
[TD]3h 33m[/TD]
[TD]2h 42m[/TD]
[TD]13s[/TD]
[TD]61s[/TD]
[TD]46s[/TD]
[TD]100 / 100 / 100 / 100[/TD]
[TD][/TD]
[/TR]
[TR]
[TD]DS214+[/TD]
[TD]ARM7 / 2x1,333[/TD]
[TD][/TD]
[TD]17m 55s[/TD]
[TD]7s[/TD]
[TD]47s[/TD]
[TD]30s[/TD]
[TD]80 / 100 / 50 / 50[/TD]
[TD]1m 15s[/TD]
[/TR]
[/TABLE]

 

[dil88]

Oha, das ist eine Überraschung. Allerdings auch nur, wenn sich die installierten Pakete nicht nennenswert auf die Bootzeit auswirken. Bei mir sind nur Samba, PhotoStation und der Advanced Power Manager aktiv. Du wirst sicherlich einiges laufen und damit starten lassen. Kannst Du das nochmal reinschreiben? Wenn das nämlich so ist, dann war meine Idee eine Schnapsidee, und wir stampfen sie besser gleich wieder ein.

 

[geimist]

… denke ich auch. Sinnvoll wäre die Messung wahrscheinlich nur nach einer Neuinstallation.

 

[tmbnas]

Ist der Apachetest denn so aussagekräftig? Wenn ich denn mehrmals hintereinander auf meiner 212+ mit 4.3 ausführe, dann kommen Werte zwischen 11-13s und das nicht kontinuierlich abnehmend sondern mal mehr mal weniger.

 

[geimist]

Dafür ist er zumindest konzipiert.
Hast du auch keine anderen Anwendungen laufen, die den Test beeinflussen?
LAN-Verbindung zur Box, ect.?

Um ein genaueres Ergebnis zu erreichen, könntest du auch den Wert hinter dem Parameter "-n" z.B. von 10 auf 100 erhöhen und die ermittelte Zeit durch 10 teilen. Dieser Wert gibt an, wie oft die übergebene URL geladen werden soll.

Und selbst, wenn es ein paar Abweichungen geben sollte, so sieht man auf jeden Fall, welche Box für eine Website eher geeignet ist, oder halt nicht. War für mich unter anderem ein Kaufargument für die DS713+ (6x schneller, als die DS111).

 

[bkiss]

Performancevergleich von MariaDB (DSM 5.0) vs MySQL (DSM 4.3)

Test mit Synology DS1512+
Mit DSM 4.3 dauerte der SQL-Benchmarktest 24 sec und nun mit DSM 5.0 nur noch 11.5 sec.

Das nenne ich doch erfreulich und merke auch deutlich den Unterschied bei meinen Joomla-Installationen.

 

[geimist]

Ist der Wert reproduzierbar?

Auf meiner DS713+ sind es reproduzierbar ca. 27 sec.

MariaDB [(none)]> SELECT BENCHMARK(100000000, 'foo' = "foo");
+-------------------------------------+
| BENCHMARK(100000000, 'foo' = "foo") |
+-------------------------------------+
|                                   0 |
+-------------------------------------+
1 row in set (26.90 sec)

 

[bkiss]

>> Ist der Wert reproduzierbar?

Auf meiner Diskstation dreimal mit unverändertem Ergebnis (ca. 11.5 sec) getestet.
Mich würde interessieren, wie es bei anderen Leuten hier im Forum aussieht.

 

[dil88]

Ich würde sofort testen, warte aber noch mit DSM 5.

@bkiss/geimist: Wie hoch sind Eure Loads beim MariaDB Test? Geimists bisherigen 713+ Werte (DSM 4.2/MySQL) deuten ja angesichts eines Loads von etwa 25% darauf hin, dass nur ein Core und auch kein HT genutzt wurde. Deshalb die Frage, wie sich das jetzt bei Euch beiden unter DSM 5/MariaDB verhält.

 

[geimist]

So ist es. Auslastung 25 %, also ein Thread.

Ich hatte laut diesem WIKI-Eintrag damals die Konfiguration etwas gepusht (mehr Speicher, ect.). Ich habe es jetzt nicht kontrolliert, aber es würde mich wundern, wenn diese Konfiguration jetzt durch das Update nicht überschrieben worden wäre. Unter DSM 5.0 habe ich noch nichts an der Konfiguration geändert.

Gibt es bei der MariaDB evtl. ein inplementiertes Multithreading was mir dadurch fehlt?


EDIT: die /etc/my.cnf ist bei mir leer
Ob diese immer noch die gültige Konfigurationsdatei für die MariaDB ist weiß ich nicht.

 

[bkiss]

Ebenfalls 25% CPU Load beim SQL Benchmarktest und aktuell 25% Arbeitspeicherauslastung im regulären Betrieb.

Nach dem Update auf DSM 5.0 hatte ich auch noch nichts an meiner PHP/SQL Konfiguration getuned, da die Pfade sich zu den ini/config-Files verändert hatten.

Wieviel GB RAM Speicher hast Du in Deiner Kiste? Ich hatte zunächst 4GB und hatte das dann Anfang des Jahres wieder auf 3GB runtergerüstet, da aus mir unerfindlichen Gründen die SQL Performance nach ein paar Tagen ohne Reboot einbrach (ein Reboot half aber immer nur sehr kurzfristig).

Ggf. rebootest Du einmal Dein System und wiederholst den Test.

 

[geimist]

Ich habe 2 GB Ram (ca. 20 % ausgelastet) verbaut. Trotz guter Beobachtung, kann ich keinerlei Performancebeeinträchtigungen / Anomalien feststellen. Ich hatte gestern den Test gemacht (kurz nach der Neuinstallation) und heute noch mehrmals nach deinem Eintrag.

 

[bkiss]

Test mit Synology DS1512+
Mit DSM 4.3 dauerte der SQL-Benchmarktest 24 sec und nun mit DSM 5.0 nur noch 11.5 sec.

Das nenne ich doch erfreulich und merke auch deutlich den Unterschied bei meinen Joomla-Installationen.

Nach dem heutigen Update auf DSM 5.0 4482 stelle ich beim SQL Performance Test fest (Eingabe: /usr/syno/mysql/bin/mysql -p und SELECT BENCHMARK(100000000, 'foo' = "foo"), dass die Testlaufzeit 26.9 sec (vergleichbar mit DSM 4.3) beträgt und somit deutlich langsamer ist, als beim Update auf die erste DSM 5.0 Version Mitte März.

Schade.

Wer zu früh updated, ist halt Tester.