DS Benchmark - Ein Testszenairo

[geimist]

Hallo ihr alle!

Es wurde schon mal angesprochen und ich habe so etwas auch vermisst (vielleicht ja bloß nicht gefunden …).
Man bräuchte mal eine Art Referenz-Paket mit einheitlichen Testbildern und Videos, um anhand dessen die Rechenleistung von verschiedenen NAS einheitlich vergleichen zu können. Dieses Archiv habe ich hiermit mal erstellt. Derzeit liegt die Datei noch bei File-Upload.net, wobei ein vertrauenswürdigerer Server noch wünschenswert wäre … (kann man das Zip-Archiv irgendwie ins Forum laden?)
Das Paket besteht hauptsächlich aus Bild- und Video-Dateien von Synology.com sowie einer index.php (von HIER), die das gesamte Verzeichnis als Website ausgibt (für einen Apache Benchmark).

Die Benchmarks sollen dazu dienen, einen objektiven Vergleich der Modelle im täglichen Einsatz zu ermöglichen.

Um die Ergebnisse nicht zu verfälschen, ist es notwendig, während der Testläufe auf alle anderen Zugriffe und Anwendungen der DiskStation zu verzichten. Tests bitte nur mit DSM 4.2, bzw. extra angeben.

Ich werde versuchen, die Ergebnisse in der Tabelle zusammenzutragen.


Ich bin auf die Ergebnisse und Anregungen gespannt

Hier ist das Archiv: dsbench.zip
ca. 75 MB (MD5: 0f93c921780b8635906c6ec7823aed8f)



################################
Synology PhotoStation:
################################

Diese Grundeinstellung im DSM unter Systemeinstellung/Medienindizierungsdienst/Konvertierungseinstellungen vornehmen (können nach dem Benchmark natürlich wieder zurück gesetzt werden):
- 'hohe Qualität' für Miniaturansichten
- Haken setzen für 'Videokonvertierung für Mobilgeräte aktivieren'

Das entpackte Archiv nach /volume1/photo kopieren und die Zeit messen, bis die Konvertierung abgeschlossen ist.



################################
DSM Apache Webserver:
################################

Das entpackte Archiv nach /volume1/web kopieren. Erreichbarkeit von http://DIE_IP_DER_DISKSTATION/dsbench/index.php testen!
Über das Terminal / Konsole den Apache Benchmark aufrufen:
(getestet auf Mac OSX 10.8 wo der Apache Benchmark (=ab) direkt verfügbar ist) - wie ist das bei anderen OS …?

ab -n 10 -c 10 http://DIE_IP_DER_DISKSTATION/dsbench/index.php?dir=pictures

Nach dem Test werden einige Informationen ausgegeben.
Die verbrauchte Zeit findet man hinter "Time taken for tests:" in Sekunden (mit dem Punkt sind die hundertstel Sekunden getrennt).



################################
DSM MySQL-Server:
################################

Eine Telnetverbindung zur DiskStation (telnet IP-DiskStation) aufbauen und mit root und Admin-Kennwort anmelden.

Auf die MySQL Datenbank zugreifen (falls vergeben, wird man nach dem MySQL-Passwort gefragt):

/usr/syno/mysql/bin/mysql -p

Für den Benchmark diesen Befehl absetzen:

SELECT BENCHMARK(100000000, 'foo' = "foo");

Die Ausführungszeit wird direkt in Minuten und Sekunden ausgegeben.
(Grundsätzlich kann man das SQL-Kommando auch über phpMyAdmin ect. absetzen, die Rechenzeiten unterscheiden sich aber deutlich. Daher nur über Telnet testen!)


################################
DSM Dateikomprimierung:
################################

Ich könnte mir vorstellen, dass man mit der Komprimierung auch einen interessanten Vergleich ziehen kann, aber irgendwie habe ich noch nicht das passende Szenario gefunden. Gerade in Verbindung mit 7zip ist bei größeren Daten eher der Arbeitsspeicher der Flaschenhals …
Dennoch habe ich mal die Zeit für das zippen (Filestation: 'zu Archiv hinzufügen' / Format: zip / Komprimierung: 'Beste' / mit Kennwort) für des entpackte Testarchiv gemessen.

---

RESULTATE
​

---

	PhotoStation	Apache	MySQL	Komprimierung
DS111	4h 13m (~15180s)	231s	111s	71s

 

[geimist]

Habe noch mal einen 2. Link auf meinem 1und1 SmartDrive:

Hier ist das Archiv: dsbench.zip
ca. 75 MB (MD5: 27d0247430014579f5e0837d30d4f6f8)

 

[crick]

DS1512+ Benchmark

Ich finde die Idee mit dem Benchmark sehr gut. Ich habe den Bench mit meiner DS1512+ (DSM4.2-3202 | 5x WD20EARX @ SHR-2 | 3 GB Ram) ausgeführt.

Da ich Windows benutze, hatte ich den Apache-Benchmark nicht. Ich habe mir dann ein Windows-Apache Paket als ZIP geladen und ab.exe herausgeholt. Wer sich den Krempel ersparen möchte; ich habe es hochgeladen.
ab.exe: [DOWNLOAD] (in der Eingabeaufforderung von Windows mit den selben Parametern ausführbar wie oben beschrieben)

PhotoStation
23 Minuten und 4 Sekunden (davon waren die ersten 47 Sekunden reines indexieren | aus drei Messungen der Mittelwert | Differenzen lagen bei +-10 Sekunden)
Beim ersten Test schaute ich nebenbei Video und als ich wieder nach dem Status schaute war er bereits fertig und auf der Stoppuhr erst ~18 Minuten vergangen. Da ich das genaue Ergebnis haben wollte, machte ich drei weitere Tests, kam aber immer bei um die 23 Minuten raus. Eventuell hatte ich beim ersten mal etwas nicht korrekt kopiert.

Apache
4 Sekunden (gerundet)

C:\>ab.exe -n 10 -c 10 http://192.168.10.50/dsbench/index.php?dir=pictures
This is ApacheBench, Version 2.3 <$Revision: 1373084 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.10.50 (be patient).....done


Server Software:        Apache/2.2.23
Server Hostname:        192.168.10.50
Server Port:            80

Document Path:          /dsbench/index.php?dir=pictures
Document Length:        33639 bytes

Concurrency Level:      10
Time taken for tests:   4.030 seconds
Complete requests:      10
Failed requests:        0
Write errors:           0
Total transferred:      338290 bytes
HTML transferred:       336390 bytes
Requests per second:    2.48 [#/sec] (mean)
Time per request:       4030.230 [ms] (mean)
Time per request:       403.023 [ms] (mean, across all concurrent requests)
Transfer rate:          81.97 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    1   1.8      1       6
Processing:  1781 3058 949.6   3709    4016
Waiting:     1780 3057 949.7   3708    4015
Total:       1782 3059 948.7   3709    4017

Percentage of the requests served within a certain time (ms)
  50%   3709
  66%   3836
  75%   3928
  80%   3988
  90%   4017
  95%   4017
  98%   4017
  99%   4017
 100%   4017 (longest request)

C:\>

MySQL
24 Sekunden (gerundet)

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.1.49 Source distribution

Copyright (c) 2000, 2010, Oracle and/or its affiliates. All rights reserved.
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL v2 license

No entry for terminal type "cons25";
using dumb terminal settings.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> SELECT BENCHMARK(100000000, 'foo' = "foo");
+-------------------------------------+
| BENCHMARK(100000000, 'foo' = "foo") |
+-------------------------------------+
|                                   0 |
+-------------------------------------+
1 row in set (23.53 sec)

mysql>

ZIP-Erstellung
18 Sekunden (gerundet)

Ich bin auf weitere Tests gespannt

 

[geimist]

Hallo Crick,

vielen Dank fürs Mitmachen
Wenn ich deine Werte so sehe, hätte ich das Paket wohl noch etwas strammer schnüren sollen … ;-) Nicht schlecht!

Zwischenzeitlich habe ich festgestellt, dass ich ein ganz dummes Kind bin
Ich meine, dass man bei manch anderer Forensoftware die eigenen Beiträge immer ändern kann - hier geht das nur für 6 Stunden. Das hat mein Plan, alle Werte im Startposting zu sammeln gründlich vereitelt (jetzt sitzt der Beitrag so da oben, mit 'ner fast leeren Tabelle - irgendwie blöd).

Eine Alternative wäre natürlich ein WIKI-Beitrag unter dem Hauptpunkt "5. Weitere Informationen". Jetzt habe ich gerade ergebnislos eine Stunde herumgesucht, wie man einen neuen Beitrag - dazu noch an der richtigen Stelle - erstellen kann … Kann da evtl. mal jemand wenigstens den Artikel (mit 'ner leeren Tabelle) erstellen??? Ich sage auch BITTE! So kann dann auch jeder dort seine Werte hineinpflegen.

Eine weitere Alternative wäre ein ganz fleißiger und lieber Mod - der kann doch bestimmt den 1. Eintrag hier oben editieren, oder???

 

[crick]

So, Wochenende fängt langsam an. Da könnten doch bestimmt paar liebe User einen Benchmark posten, oder nicht? *g*

 

[geimist]

Schade, dass es hier so wenig Resonanz gibt …

Dafür habe ich jetzt die Gelegenheit, das Ganze auf einer DS713+ zu testen . Erwartungsgemäß unterscheiden sich die Werte kaum von der DS1512+ von Crick. Die vorhergehenden Testwerte füge ich gleich mit ein (da im 1. Post ja nicht mehr editierbar).

Interessant fand ich, dass trotz der vielfach schneller ausgeführten Benchmarks der größeren DSen, die CPU nur teilweise ausgelastet war. Aber wie schon gesagt, soll der Test keinen theoretischen Benchmark für die CPUs darstellen, sondern einen Vergleich der Modelle im Alltag ermöglichen - und so die Kaufentscheidung vereinfachen.

	PhotoStation	Apache	MySQL	Komprimierung	CPU-Auslastung %
DS111	4h 13m	231s	111s	71s	100 / 100 / 100 / 100
DS1512+	23m 4s	4s	24s	18s
DS713+	23m 5s	4s	23s	18s	70 / 100 / 26 / 28

Versuchsweise habe ich auch mal das entpackte Archiv per 7zip in der Stufe 'beste' gepackt. Dauer ca. 95 Sekunden bei einem Speicherbedarf von 670 MB. Da wird dann bei DSen mit zu kleinem RAM nur aus- und umgelagert und das Ganze dauert dann Stunden …

 

[syntec]

Ich werde die obigen Tests morgen mal mit meiner DS213+ machen!

 

[syntec]

Hier das Ergebnis meiner DS213+

Apache:
nicht durchgeführt - da gibt's ja schon einen Vergleichswert auf der SynologySeite bzgl. phpBB

Photostation:
32:07 Min

mySQL:
01:04 Min

mysql> SELECT BENCHMARK(100000000, 'foo' = "foo");
+-------------------------------------+
| BENCHMARK(100000000, 'foo' = "foo") |
+-------------------------------------+
|                                   0 |
+-------------------------------------+
1 row in set (1 min 4.07 sec)

Zip:
26.7 Sekunden


Wobei mich der ZIP Wert doch sehr überrascht: Bei einem größeren Archiv (ich hatte ja mal 3.2GB getestet) war der PowerPC > 30% schneller als Atom. Ich hatte hier als Kompression allerdings nur "normal" gewählt.

 

[geimist]

Hallo syntec,

vielen Dank für deinen Beitrag.
Ich muss zu meiner Schande gestehen, dass ich in der Anleitung für den Apache-Benchmark eine Null vergessen habe - sorry. Mir kamen die gar so großen Unterschiede gleich etwas spanisch vor. Meine Angabe für die DS111 muss in den oberen Tabellen um den Faktor 10 gekürzt werden > als 23 Sekunden.



Hier die Zusammenfassung:

	CPU / GHz	PhotoStation	Apache	MySQL	Komprimierung	CPU-Auslastung %
DS111	ARM / 1,6	4h 13m	23s	111s	71s	100 / 100 / 100 / 100
DS1512+	Atom / 2x2,13	23m 4s	4s	24s	18s
DS713+	Atom / 2x2,13	23m 5s	4s	23s	18s	70 / 100 / 26 / 28
DS213+	PPC / 2x1.067	32m 7s		64s	26,7s

 

[crick]

Da sieht man schön, dass der Sprung von ARM -> PPC weitaus größer und lohnender ist, als von PPC -> Intel. Danke für den Benchmark syntec

 

[goetz]

Hallo,
so nun auch Zeit für den letzten Test (Photo Station) gehabt.
DS209+II single Core PPC 1,06GHz also halbe DS 231+/DS413
MySQL 55sek
Apache 9sek
Zip 27sek
Photo Station 50min
Man sieht sehr gut, daß Singleprozesse keinen Unterschied zur Dualcore PPC CPU machen. Dualcore können die DS213+/DS413 ausnutzen wenn Fotos und Videos gleichzeitig in die Photo Station hochgeladen werden denn Video- und Fotokonvertierung finden gleichzeitig statt

18219 root 34916 S N /usr/syno/bin/synoflvconv /volume2/photo/dsbench/videos/Using Video Station in Your Home, from Synology.mp4
18667 root 21728 R N /usr/syno/bin/convert-thumb -define registry:temporary-path=/volume2/photo/dsbench/pictures/@eaDir/DS1512005.jpg

Bei reinem Video oder Foto Upload sollten keine Unterschiede da sein.

Gruß Götz

 

[geimist]

Hallo Götz,

vielen Dank auch für deinen Beitrag.

	CPU / GHz	PhotoStation	Apache	MySQL	Komprimierung	CPU-Auslastung %
DS111	ARM / 1,6	4h 13m	23s	111s	71s	100 / 100 / 100 / 100
DS1512+	Atom / 2x2,13	23m 4s	4s	24s	18s
DS713+	Atom / 2x2,13	23m 5s	4s	23s	18s	70 / 100 / 26 / 28
DS213+	PPC / 2x1.067	32m 7s		64s	26,7s
DS209+II	PPC / 1,067	50m	9s	55s	27s

 

[crick]

*push*

Mit der DS1512+/713+ haben wir einen Bench vom aktuellen Modellen mit Intel Atom D2700 @ 2,13GhZ.
Mit der DS213+ einen Bench von den aktuellen Modellen mit PPC @ 1,067GhZ (abgesehen DS413 mit doppeltem RAM).

Bei den ARM haben wir die DS111 mit 1,6GhZ und 256 MB-Ram (selbe Daten wie DS213air). Interessant wäre nun die DS213j (1.2GhZ, 512Ram) und die DS213/DS212+ (2GhZ, 512Ram). Dann hätten wir von den aktuellen Modellen (abgesehen xs und usb-station) alle Daten.

 

[tmbnas]

Test 212+ mit DSM 4.2

Hi,

auch wenn der Thread schon etwas älter ist, belebe ich ihn mal mit dem Benchmark auf einer 212+ bevor DSM 4.3 auf unseren NASen ist. Meine Konfiguration: 2x1TB RAID 1, (1xWD GREEN, 1xWD RE4, ja schräg ich weiß, es kommen demnächst 2x2TB WD RED rein)

Test 1 (Photo/Video): 3Std. 33m
Test 2 (Apache): 13 sec
Test 3 (MySQL): 61s
Test 4 (Zip, beste): 46 sec

CPU bei allen Tests am Anschlag 100%, Speicher war zwischen 24-27%.

Damit hätten wir die fehlenden Daten für einen ARM 2Ghz mit 512MB.

Gruß
TMB

 

[itari]

mich würde interessieren, ob die Auswahl geeigneter Platten (und die Wahl des RAIDs) Einfluss auf die Ergebnisse zeigen

Itari

 

[tmbnas]

mich würde interessieren, ob die Auswahl geeigneter Platten (und die Wahl des RAIDs) Einfluss auf die Ergebnisse zeigen

Itari

Der gleiche Gedanke..., deshalb habe ich vor den Test mit zwei WD RED zu wiederholen, bevor ich dann 4.3 teste. In meinem Fall dürfte ja die WD10EADS die Bremse im Raid1 sein und nicht die WD1003FBYX.

Allerdings vermute ich keinen großen Unterschiede, da der Benchmark eher rechenintensiv ist (sprich die CPU scheint mit 100% Auslastung die Bremse zu sein).

 

[geimist]

Benchmark auf einer 212+ bevor DSM 4.3 auf unseren NASen ist. Meine Konfiguration: 2x1TB RAID 1
Damit hätten wir die fehlenden Daten für einen ARM 2Ghz mit 512MB.

Vielen Dank TMB auch für deinen Test.

mich würde interessieren, ob die Auswahl geeigneter Platten (und die Wahl des RAIDs) Einfluss auf die Ergebnisse zeigen - Itari

Der Test soll ja eine Art Architekturvergleich mit 'Alltagsanwendungen' für potentielle Käufer und Umsteiger sein. Bestimmt gibt es Unterschiede mit verschiedenen RAIDs, aber das Hauptaugenmerk liegt hier ja auf den CPUs.

Der Vollständigkeit wegen gleich mal wieder die komplette Tabelle:

	CPU / GHz	PhotoStation	Apache	MySQL	Komprimierung	CPU-Auslastung %
DS111	ARM / 1,6	4h 13m	23s	111s	71s	100 / 100 / 100 / 100
DS1512+	Atom / 2x2,13	23m 4s	4s	24s	18s
DS713+	Atom / 2x2,13	23m 5s	4s	23s	18s	70 / 100 / 26 / 28
DS213+	PPC / 2x1.067	32m 7s		64s	26,7s
DS209+II	PPC / 1,067	50m	9s	55s	27s
DS212+	ARM / 2,0	3h 33m	13s	61s	46s	100 / 100 / 100 / 100

 

[goetz]

Hallo,
da schlägt sich meine DS209+II ja recht wacker. Sehr interessant wären die Werte der DS213j (armv7 + FPU).

Gruß Götz

 

[itari]

aber das Hauptaugenmerk liegt hier ja auf den CPUs

alle hier vorgeschlagenen Tests sind plattenlastig ... man sieht ja recht schön, dass nicht alle Tests in gleicher Weise zueinander proportional sind, was sie aber tendentiell sein müssten, wenn nur die CPU-Leistung gemessen werden würde ... ein schöner CPU-Test wäre mit dem "bc" recht einfach durchzuführen: 2^4242

Itari

 

[goetz]

Hallo,
nun ja, RAM Größe und RAM Anbindung haben auch noch Einfluß und da sind DS111 und DS212+ schon unterschiedlich (RAM Größe unterschiedlich aber gleiche Anbindung). Hier geht es doch eher um Alltagswerte als um reine CPU Power. Eine Erhöhung der CPU Frequnz um xx% hat sich eigentlich noch nie wirklich in der absolut gleichen Größe am Gesamtsystem bemerkbar gemacht.

Gruß Götz