RS3617xs stark reduzierte Datenrate

[Ralf Springhorn]

Liebes Forum,

Als Filmschaffender arbeiten wir mit großen Videodateien.

Wir wollten jetzt von Einzelplatzlösungen auf eine leistungsfähige Netzwerklösung umsatteln:

Wir haben 3 Clients (Apple iMac, Macbook)
Wir greifen mit einem Sonnet Twin 10G TBL3 to 2-Port Copper 10Gb Base-T und zwei Promise SANLink2 über den NETGEAR XS716T Switch auf die Intel X540-T2 Dual Port 10 Gbit/s Ethernet Server Adapter / Netzwerkkarte PCI-E in Link Aggregation auf den RS3617xs zu.

Mit einem Client fahren wir Datenraten bis 850 mb/s was gut ist. Sobald wir einen zweiten Client dazu nehmen, reduziert sich die Datenrate bei einem Gerät auf 350 mb/s bei dem anderen kommen nur 150 mb/s an.

Woran kann das liegen?

Wir haben eine Blockgröße von 4 KB und fahren das afp Protokoll.

Ich bin kein Netzwekradmin... Was können wir tun um pro Client 600-800 mb/s zu bekommen?

DANKE für jeden Hinweis!

 

[Theslowman]

Guten Abend Ralf.

Man könnte probieren, dir jetzt weiter Tipps zu geben, aber bei der Menge an "brutal guter und performanter Hardware" wird in deinem Fall wohl nur ein Supportticket bei Synology Sinn machen.

Um trotzdem etwas beizutragen, würde ich folgendes Scenario als mögliche Ursache vermuten.....ohne Garantie....

Bei einem Client kann die Nas linear die Daten lesen von den Platten, kommt ein zweiter Client hinzu, beschäftigen sich die Platten mit 2 Dingen gleichzeitig, also teilt sich auch die Leistung fast 50:50 im Lan auf bei 2 Rechnern...... Das Spiel kannst du jetzt endlos mit mehr Clients durchrechnen....beobachtet hast du dieses Verhalten ja schon.

Wie mann das Verhalten abmildern kann, da würde ich Synology fragen. Die Daten über verschiedene unabhängige Volumes zu verwalten und so jedem Client sein eigenes Volume geben könnte eine Möglichkeit sein.... Wie gesagt, alles vielleicht ein Ansatz aber ohne Garantie....

Gruß TSM

 

[vater]

Zu deinem Platten-Setup hast du jetzt nichts geschrieben? Das hat maßgeblich Einfluss. Pro Client eigene RAIDs, oder SSDs für alle. Sonst hast du bei deinem Workload immer massive Einbrüche.

 

[Andy+]

Die RS3617xs ist vorbereitet für L+S-Cache. Wenn nicht alle Slots belegt sind, würde ich jedoch eher die günstigere Variante wählen und 2 SSD´s dafür verbauen. Damit könnte ich mir vorstellen, das "verschleifen" zu können.

 

[vater]

Mit einem ssd-Cache würde man sequentielle Workloads nicht sinnvoll abfangen können.

 

[Ralf Springhorn]

Vielen Dank für Eure Rückmeldungen! Zu den Platten: Wir haben die Red Pro verbaut.
Zu dem Hinweis mit den zwei Clients: 850: 2 = 425. Wir haben aber nur 350 + 150 = 500. Was ist mit dem Rest?

Welche Blockgröße ist bei den Daten Sinnvoll? 64kb oder gar 128 kb?

 

[Andy+]

Auf den ersten Blick scheint das schon einiges, es fehlen rund 300 MB/s. Jedoch finde ich schon auch, dass durch den Parallelbetrieb mit zwei Devices ohne weiteres ein solches Gap entstehen könnte, allerdings weiss ich das definitiv nicht. Ich leite das davon ab, wenn wir Dateien kopieren, lassen kleine Dateien die Übertragungsrate extrem sinken und grosse Dateien wieder in die Höhe schnellen, einfach weil der ganze Protokollaustausch usw. dann nicht anfällt. Von daher halte ich ein Sinken der Rate im genannten Rahmen geschätzt für realistisch.

Die Aussage, dass man mit einem SSD-Cache bei sequentiellen Workloads nichts sinnvolles abfangen kann, stimmt bei reinen Übertragungen, denn was soll da gecacht werden. Im regulären Betrieb und wenn sich Loads wiederholen, hat ein SSD-Cache seine Berechtigung. Ich habe auch L+S-Cache verbaut, die DS ist ohne den Cache deutlich langsamer.

 

[BigRonin]

Ich denke schon das ein L+S-Cache was bring wenn er entsprechend dimensioniert ist. In welcher Größenordnung bewegen sich die Videodateien?

Wie ist denn die Volumenauslastung wenn 2 Clients zugreifen? Ich vermute mal stark, dass hier die Limitierung zu suchen ist. Solange nur ein Client zugreift müssen die HDDs nur sequenziell die Daten liefern mit relative wenigen Kopfbewegungen. Müssen die HDDs mehrere Clients bedienen, müssen auch die Köpfe entsprechend mehr bewegt werden da an unterschiedlichen Stellen zugegriffen wird.
Und da kommt dann der L+S-Cache ins Spiel.

 

[Andy+]

Das habe ich mit Protokollaustausch usw. gemeint. Der ganze Overhead kostet Leistung, sodass man nur Verschleifen und Puffern kann.

 

[vater]

Da habt ihr euch für die etwas sparsameren, aber auch gemächlicheren Platten entschieden. Aber auf den Platten Typ wollte ich gar nicht hinaus.
Wenn eure Platten zu einem großen Array zusammengeschlossen sind, steht die volle Leistung nur einem Client zur Verfügung. Danach gehts bei euren Workloads (sehr große Dateien, sequentiell gelese/geschrieben) massiv bergab. Teilt ihr die HDDs hälftig auf, so das jeder Client auf sein eigenes Array Zugriff hat, bleibt die Datenrate hoch, bis das nächste Bottlekneck "greift".

Wenn der SSD-Cache nicht die Größe aller derzeit in Arbeit befindlichen Video-Projekte hat, dürfte er nur selten einen Hit generieren.

 

[Theslowman]

Das Thema hier wird sich sicherlich im Kern um das technische Merkmal IOPS der Platten drehen ! Die intelligente Konfiguration der Volumes wird dazu einen Teil betragen wen man die geschickt aufteilt.

Wenn man sich aber nur an den Platten verbeißt, das muss man laut der Tabelle IOPS Wikipedia zu dem Schluss kommen, das SATA hier die falsche Plattentechnolgie ist. Wesentlich mehr IOPS liefern SAS als Beispiel. Jedem Rechner ein eigenes Volume + ein Ablagevolume nach Bearbeitung anzulegen wäre hier wohl zu durchdenken als Anregung..... Wie schon geschrieben, hier passt keine Standardkonfig, da ist dediziertes Knowhow gefragt.

Es wäre toll, zu wissen, wie es letztendlich ausgegangen ist mit der Konfig. Danke.