DS Benchmark - Ein Testszenairo

tmbnas

Benutzer
Mitglied seit
11. Jul 2013
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
alle hier vorgeschlagenen Tests sind plattenlastig ... man sieht ja recht schön, dass nicht alle Tests in gleicher Weise zueinander proportional sind, was sie aber tendentiell sein müssten, wenn nur die CPU-Leistung gemessen werden würde ... ein schöner CPU-Test wäre mit dem "bc" recht einfach durchzuführen: 2^4242

Itari

So ich habe den Test mit zwei WD RED WD20EFRX wiederholt und keine nennenswerten Unterschiede gesehen bis auf den MySQL-Test. Dort hat sich die Zeit von 61 sec auf 59s (mehrmals die gleiche Zeit bekommen) reduziert. Beobachtet man die 212+ so stellt man vor allem beim Fototest (1. Szenario) fest, dass in 1-3 Sekunden Abständen auf die Platten zugegriffen wird. Test 1 und 4 sind definitiv rechenintensiv und da ist eindeutig der Prozessor die Bremse.
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
30.613
Punkte für Reaktionen
2.006
Punkte
829
Zunächst wünsche ich allen ein frohes Fest und möchte mich herzlich bei geimist für den DS Benchmark bedanken, den ich für eine ganz hervorragende Idee halte. Mit meiner neuen DS214+ kann ich nun auch selbst einen Beitrag leisten. Dabei vorweg die Anmerkung, dass die Zahlen unter DSM 4.3-3810 ermittelt wurden:

CPU / GHz
PhotoStationApacheMySQLKomprimierungCPU-Auslastung %
DS111ARM / 1,6
4h 13m23s111s71s100 / 100 / 100 / 100
DS1512+Atom / 2x2,13
23m 4s4s24s18s
DS713+Atom / 2x2,13
23m 5s4s23s18s70 / 100 / 26 / 28
DS213+PPC / 2x1.067
32m 7s64s26,7s
DS209+IIPPC / 1,067
50m9s55s27s
DS212+
ARM / 2,0
3h 33m
13s
61s
46s
100 / 100 / 100 / 100
DS214+
ARM7 / 2x1,333
17m 55s

46,69s
30s
80 / n/a / 50 / 50

Bei der PhotoStation ist der Marvell XP sehr schnell. Vielleicht gibt es aber auch Optimierungen im Rahmen von DSM 4.3 und der entsprechenden PhotoStation-Release. Denn Pausen (sprich niedrige CPU-Auslastung) konnte ich nicht beobachten. Die ersten 32s läuft nur die Medienindizierung (mit geringer CPU-Last), dann startet der "Konvertierungsvorgang". Solange hier Fotos und Videos gemeinsam konvertiert werden, liegt die Last bei ca. 100%. Sobald sich die Konvertierung auf Fotos beschränkt, sinkt sie auf ca. 80% ab.

Sehr interessant wäre, wenn jemand mit einer DS214play den DS-Benchmark laufen lassen könnte, da die CE5335 Intel-Atom-CPU bisher noch nicht in der Liste steht.
 
Zuletzt bearbeitet:

tmbnas

Benutzer
Mitglied seit
11. Jul 2013
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Bei der PhotoStation ist der Marvell XP sehr schnell. Vielleicht gibt es aber auch Optimierungen im Rahmen von DSM 4.3 und der entsprechenden PhotoStation-Release.


Ich kann bestätigen, dass es einen Unterschied zwischen DSM 4.2 und DSM 4.3 im Testszenario 1 - Konvertierung gibt.
Statt der 3Std 33min auf meiner 212+ mit DSM 4.2 sind es jetzt mit der aktuellen DSM 4.3 "NUR" noch 2Std 42min.
Bei den anderen Werten hat sich nichts getan.
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
30.613
Punkte für Reaktionen
2.006
Punkte
829
Großartig, danke tmbnas! Ich aktualisiere die Tabelle entsprechend, so dass die Unterscheidung erleichtert wird:

CPU / GHz
PhotoStation
DSM 4.2​
PhotoStation
DSM 4.3​
ApacheMySQLKomprimierungCPU-Auslastung %
DS111ARM5 / 1,6
4h 13m23s111s71s100 / 100 / 100 / 100
DS1512+Atom / 2x2,13
23m 4s4s24s18s
DS713+Atom / 2x2,13
23m 5s4s23s18s70 / 100 / 26 / 28
DS213+PPC / 2x1,067
32m 7s64s26,7s
DS209+IIPPC / 1,067
50m9s55s27s
DS212+
ARM5 / 2,0
3h 33m
2h 42m13s
61s
46s
100 / 100 / 100 / 100
DS214+
ARM7 / 2x1,333
17m 55s

46,69s
30s
80 / n/a / 50 / 50

Spannend wäre, wenn jemand mit einer der übrigen DiskStations den PhotoStation-Benchmark unter DSM 4.3 ausführen könnte.
 

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.508
Punkte für Reaktionen
1.344
Punkte
234
Hier auch eine Aktualisierung für die DS713+ und DSM 4.3 (Photostation):

CPU / GHz
PhotoStation
DSM 4.2​
PhotoStation
DSM 4.3​
ApacheMySQLKomprimierungCPU-Auslastung %
DS111ARM5 / 1,6
4h 13m23s111s71s100 / 100 / 100 / 100
DS1512+Atom / 2x2,13
23m 4s4s24s18s
DS713+Atom / 2x2,13
23m 5s18m 37s4s23s18s70 / 100 / 26 / 28
DS213+PPC / 2x1,067
32m 7s64s26,7s
DS209+IIPPC / 1,067
50m9s55s27s
DS212+
ARM5 / 2,0
3h 33m
2h 42m13s
61s
46s
100 / 100 / 100 / 100
DS214+
ARM7 / 2x1,333
17m 55s

46,69s
30s
80 / n/a / 50 / 50


P.S. @ dil88:
Könntest du noch einen Webservertest (Apache) mit nachschieben? Das wäre super … :)
 

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.508
Punkte für Reaktionen
1.344
Punkte
234
Für alle, die den Apache-Test mit Windows durchführen wollen:

Auf dieser Seite ist näheres beschrieben (ist wirklich nicht schwer). Dort findet man auch einen Link für das kleine Apache Benchmarkprogramm.

Der Test geht dann so:
1.) Entpacke das Benchmarkarchiv in dein Webverzeichnis und prüfe im Browser, ob du die darin enthaltene index.php öffnen kannst (http://deineDS-IP/dsbench/index.php)
2.) Öffne die Eingabeaufforderung und wechsle (cd Zielverzeichnis) in das Verzeichnis mit dem heruntergeladenen Apache Benchmarkprogramm ab.exe.
3.) und jetzt kannst du den auf deine IP der DS angepassten Befehl absetzen
Rich (BBCode):
ab -n 10 -c 10 http://DIE_IP_DER_DISKSTATION/dsbench/index.php?dir=pictures
4.) Die Messdauer wird dann ausgegeben

Hier die Apache-Benchmark-EXE:
Anhang anzeigen ab.exe.zip
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
30.613
Punkte für Reaktionen
2.006
Punkte
829
Ich habe den Apache-Test gemacht (danke für die Anleitung). Ergebnis folgt. Außerdem möchte ich noch eine Spalte Bootzeit hinzufügen - also die Zeit, die die DS braucht, um nach dem Einschalten die Bereitschaft zu erreichen. Geimist wird bei Gelegenheit mit der DS713+ messen, vielleicht könnte zumindest tmbnas das für die DS212+ ebenfalls tun. Meinen Messwert setze ich natürlich gleich mit 'rein in die Tabelle:

CPU / GHzPhotoStation
DSM 4.2​
PhotoStation
DSM 4.3​
ApacheMySQLKomprimierungCPU-Auslastung %Bootzeit
DSM 4.3​
DS111ARM5 / 1,64h 13m23s111s71s100 / 100 / 100 / 100
DS1512+Atom / 2x2,1323m 4s4s24s18s
DS713+Atom / 2x2,1323m 5s18m 37s4s23s18s70 / 100 / 26 / 28
DS213+PPC / 2x1,06732m 7s64s26,7s
DS209+IIPPC / 1,06750m9s55s27s
DS212+ARM5 / 2,03h 33m2h 42m13s61s46s100 / 100 / 100 / 100
DS214+ARM7 / 2x1,33317m 55s7s47s30s80 / 100 / 50 / 5075s
 

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.508
Punkte für Reaktionen
1.344
Punkte
234
Hier, wie gewünscht, die Bootzeit der DS713+ mit DSM 4.3 (Zeit ab drücken der Powertaste bis zum ertönen des Startpieps).

CPU / GHzPhotoStation
DSM 4.2​
PhotoStation
DSM 4.3​
ApacheMySQLKomprimierungCPU-Auslastung %Bootzeit
DSM 4.3​
DS111ARM5 / 1,64h 13m23s111s71s100 / 100 / 100 / 100
DS1512+Atom / 2x2,1323m 4s4s24s18s
DS713+Atom / 2x2,1323m 5s18m 37s4s23s18s70 / 100 / 26 / 283m 23s
DS213+PPC / 2x1,06732m 7s64s26,7s
DS209+IIPPC / 1,06750m9s55s27s
DS212+ARM5 / 2,03h 33m2h 42m13s61s46s100 / 100 / 100 / 100
DS214+ARM7 / 2x1,33317m 55s7s47s30s80 / 100 / 50 / 501m 15s
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
30.613
Punkte für Reaktionen
2.006
Punkte
829
Oha, das ist eine Überraschung. Allerdings auch nur, wenn sich die installierten Pakete nicht nennenswert auf die Bootzeit auswirken. Bei mir sind nur Samba, PhotoStation und der Advanced Power Manager aktiv. Du wirst sicherlich einiges laufen und damit starten lassen. Kannst Du das nochmal reinschreiben? Wenn das nämlich so ist, dann war meine Idee eine Schnapsidee, und wir stampfen sie besser gleich wieder ein.
 
Zuletzt bearbeitet:

tmbnas

Benutzer
Mitglied seit
11. Jul 2013
Beiträge
13
Punkte für Reaktionen
0
Punkte
0
Ist der Apachetest denn so aussagekräftig? Wenn ich denn mehrmals hintereinander auf meiner 212+ mit 4.3 ausführe, dann kommen Werte zwischen 11-13s und das nicht kontinuierlich abnehmend sondern mal mehr mal weniger.
 

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.508
Punkte für Reaktionen
1.344
Punkte
234
Dafür ist er zumindest konzipiert.
Hast du auch keine anderen Anwendungen laufen, die den Test beeinflussen?
LAN-Verbindung zur Box, ect.?

Um ein genaueres Ergebnis zu erreichen, könntest du auch den Wert hinter dem Parameter "-n" z.B. von 10 auf 100 erhöhen und die ermittelte Zeit durch 10 teilen. Dieser Wert gibt an, wie oft die übergebene URL geladen werden soll.

Und selbst, wenn es ein paar Abweichungen geben sollte, so sieht man auf jeden Fall, welche Box für eine Website eher geeignet ist, oder halt nicht. War für mich unter anderem ein Kaufargument für die DS713+ (6x schneller, als die DS111).
 

bkiss

Benutzer
Mitglied seit
19. Feb 2012
Beiträge
79
Punkte für Reaktionen
0
Punkte
6
Performancevergleich von MariaDB (DSM 5.0) vs MySQL (DSM 4.3)

Test mit Synology DS1512+
Mit DSM 4.3 dauerte der SQL-Benchmarktest 24 sec und nun mit DSM 5.0 nur noch 11.5 sec.

Das nenne ich doch erfreulich und merke auch deutlich den Unterschied bei meinen Joomla-Installationen.
 

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.508
Punkte für Reaktionen
1.344
Punkte
234
Ist der Wert reproduzierbar?

Auf meiner DS713+ sind es reproduzierbar ca. 27 sec.
Rich (BBCode):
MariaDB [(none)]> SELECT BENCHMARK(100000000, 'foo' = "foo");
+-------------------------------------+
| BENCHMARK(100000000, 'foo' = "foo") |
+-------------------------------------+
|                                   0 |
+-------------------------------------+
1 row in set (26.90 sec)
 

bkiss

Benutzer
Mitglied seit
19. Feb 2012
Beiträge
79
Punkte für Reaktionen
0
Punkte
6
>> Ist der Wert reproduzierbar?

Auf meiner Diskstation dreimal mit unverändertem Ergebnis (ca. 11.5 sec) getestet.
Mich würde interessieren, wie es bei anderen Leuten hier im Forum aussieht.
 

dil88

Benutzer
Contributor
Sehr erfahren
Mitglied seit
03. Sep 2012
Beiträge
30.613
Punkte für Reaktionen
2.006
Punkte
829
Ich würde sofort testen, warte aber noch mit DSM 5.

@bkiss/geimist: Wie hoch sind Eure Loads beim MariaDB Test? Geimists bisherigen 713+ Werte (DSM 4.2/MySQL) deuten ja angesichts eines Loads von etwa 25% darauf hin, dass nur ein Core und auch kein HT genutzt wurde. Deshalb die Frage, wie sich das jetzt bei Euch beiden unter DSM 5/MariaDB verhält.
 

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.508
Punkte für Reaktionen
1.344
Punkte
234
So ist es. Auslastung 25 %, also ein Thread.

Ich hatte laut diesem WIKI-Eintrag damals die Konfiguration etwas gepusht (mehr Speicher, ect.). Ich habe es jetzt nicht kontrolliert, aber es würde mich wundern, wenn diese Konfiguration jetzt durch das Update nicht überschrieben worden wäre. Unter DSM 5.0 habe ich noch nichts an der Konfiguration geändert.

Gibt es bei der MariaDB evtl. ein inplementiertes Multithreading was mir dadurch fehlt?


EDIT: die /etc/my.cnf ist bei mir leer
Ob diese immer noch die gültige Konfigurationsdatei für die MariaDB ist weiß ich nicht.
 

bkiss

Benutzer
Mitglied seit
19. Feb 2012
Beiträge
79
Punkte für Reaktionen
0
Punkte
6
Ebenfalls 25% CPU Load beim SQL Benchmarktest und aktuell 25% Arbeitspeicherauslastung im regulären Betrieb.

Nach dem Update auf DSM 5.0 hatte ich auch noch nichts an meiner PHP/SQL Konfiguration getuned, da die Pfade sich zu den ini/config-Files verändert hatten.

Wieviel GB RAM Speicher hast Du in Deiner Kiste? Ich hatte zunächst 4GB und hatte das dann Anfang des Jahres wieder auf 3GB runtergerüstet, da aus mir unerfindlichen Gründen die SQL Performance nach ein paar Tagen ohne Reboot einbrach (ein Reboot half aber immer nur sehr kurzfristig).

Ggf. rebootest Du einmal Dein System und wiederholst den Test.
 
Zuletzt bearbeitet:

geimist

Benutzer
Sehr erfahren
Maintainer
Mitglied seit
04. Jan 2012
Beiträge
5.508
Punkte für Reaktionen
1.344
Punkte
234
Ich habe 2 GB Ram (ca. 20 % ausgelastet) verbaut. Trotz guter Beobachtung, kann ich keinerlei Performancebeeinträchtigungen / Anomalien feststellen. Ich hatte gestern den Test gemacht (kurz nach der Neuinstallation) und heute noch mehrmals nach deinem Eintrag.
 

bkiss

Benutzer
Mitglied seit
19. Feb 2012
Beiträge
79
Punkte für Reaktionen
0
Punkte
6
Test mit Synology DS1512+
Mit DSM 4.3 dauerte der SQL-Benchmarktest 24 sec und nun mit DSM 5.0 nur noch 11.5 sec.

Das nenne ich doch erfreulich und merke auch deutlich den Unterschied bei meinen Joomla-Installationen.

Nach dem heutigen Update auf DSM 5.0 4482 stelle ich beim SQL Performance Test fest (Eingabe: /usr/syno/mysql/bin/mysql -p und SELECT BENCHMARK(100000000, 'foo' = "foo");), dass die Testlaufzeit 26.9 sec (vergleichbar mit DSM 4.3) beträgt und somit deutlich langsamer ist, als beim Update auf die erste DSM 5.0 Version Mitte März.

Schade.

Wer zu früh updated, ist halt Tester.
 


 

Kaffeautomat

Wenn du das Forum hilfreich findest oder uns unterstützen möchtest, dann gib uns doch einfach einen Kaffee aus.

Als Dankeschön schalten wir deinen Account werbefrei.

:coffee:

Hier gehts zum Kaffeeautomat