RS3617xs Datentransfer sehr langsam, trotz RAID0

[ello]

Hallo alle zusammen,

ich bin relativ neu im Umgang mit Synology Produkten. Seit kurzem haben wir uns eine RS3617xs zugelegt.

Habe das NAS mit einem Intel x520 t2 erweitert (10GBASE-T über Cat 6 Kupferkabel). Für den Windows Client-Rechner nutze ich auch eine Intel/Dell x520 T2.

Die Rackstation habe ich bisher mit 3 x WD 4TB (WD40EFRX) als RAID0 konfiguriert. Es ist keine SSD verbaut und RAM ist auch standardmäßig 4 GB.

Kurze Tests ergeben aber sehr schlechte Lese/Schreibgeschwindigkeiten. Lesen und schreiben liegt bei ca. 100 MB/s.

Kann mir jemand weiterhelfen, wie ich an die Performance von 1000 MB/s lesen/schreiben komme? Werde noch weitere HDD hinzufügen.

Schon mal vielen Dank.

 

[bitrot]

1000MB/s setzt quasi SSD voraus, idealerweise NVMe. Da die RS3617xs keine M.2 Ports hat, müssen eben Standard SATA SSDs ran.

Auch wenn die genannten 100MB/s für ein RAID 0 (oder auch RAID 5) der WD RED Platten relativ niedrig erscheint (vielleicht Konfigurationsfehler bzw. Inkompatibilität auf Client Seite? Ist ein Switch zwischen geschaltet? Jumbo Frames an? usw.), wirst Du mit traditionellen Festplatten die 10GBe Schnittstelle nicht auslasten können. Da muss zumindest ein SSD Cache mithelfen, besser noch komplett auf SSD setzen oder sehr schnelle Enterprise Festplatten mit einem großzügigen SSD Cache kombinieren.

Die offiziellen Benchmarks der Synology xs Enterprise Serie werden in der 10GBe Testumgebung über Intel SSDs realisiert. Erst damit sind die dort genannten Transferraten von mehreren 1000MB/s möglich.

https://www.synology.com/de-de/products/performance#xs_plus

10GbE-Umgebung
NAS:

Betriebssystem: DSM 6.0
Datenträgertyp: RAID 5
Laufwerke:
RC18015xs+/RXD1215sas, RS18016xs+: Voll ausgestattet mit HGST HUSMH8020BSS200 SAS SSD
Sonstige Modelle: Voll ausgestattet mit Intel 535-Serie 240 GB SSDSC2BW240H6 SSD -Speicher:
RS3617xs+, RS3617RPxs: 16 GB DDR4 ECC UDIMM (8 GB x 2) -Andere Modelle: Standard-Systemkapazität
Dateisystem: EXT4 (DS2015xs); Btrfs (sonstige Modelle)

Netzwerkumgebung:

Mehrere 10 GbE-Anschlüsse mit aktivierter Link Aggregation; MTU 9000; verbunden mit PCs der Kunden über Netgear M7100-24X 10GbE Switch (RS3617xs+)/Juniper QFX5100-48S 10GbE-Schalter (sonstige Modelle)
RC18015xs+: 1 x Intel® X520-DA2 NIC (2 x 10GbE-Anschlüsse insgesamt)
RS18016xs+/RS3617RPxs/RS3617xs: 2 x Intel® X520-DA2 NIC (4 x 10GbE-Anschlüsse insgesamt)
RS3617xs+: Integrierte 10GbE-Anschlüsse + 2 x Intel® X540-T2 NIC (6 x 10GbE-Anschlüsse)
DS3617xs: 1 x Intel® X520-DA2 NIC (2 x 10GbE-Anschlüsse insgesamt)
DS2015xs: Integrierte 10GbE-Anschlüsse (2 x 10GbE-Anschlüsse insgesamt)

Client-PC :

Für RS3617xs+: 6 Client-PCs mit Intel Core i7-4790 3,60 GHz; 4 GB DDR3-1600; Intel® X540-T2 NIC; MTU 9000; Windows 7 64 Bit
Für sonstige Modelle: 4 Client-PCs mit Intel Core i7-4790 3,60 GHz; 4 GB DDR3-1600; Intel® X520-DA2 NIC; MTU 9000; Windows 7 64 Bit
IOMeter-Konfiguration: Kontinuierliches Lesen/Schreiben in einer einzelnen 16-GB-Datei für 3 Minuten mit 4 PCs; 4 Clients für RC18015xs+, DS3617xs und DS2015xs, 8 Clients für sonstige Modelle
Blockgröße: 64 KB für SMB2 (Durchsatz), 4 KB für IOPS und iSCSI

 

[ello]

Danke für die rasche Antwort. Ehrlicherweise bin entwas enttäuscht, dass ich mit HHds nicht ansatzweise die Top-Performance erreichen kann.

Nun muss ich zusehen, dass ich das Maximum aus dem System raushole. Leider kann ich nicht komplett auf SSD setzen, weil wir ca. 40 TB Kapazität bis Ende des Jahres brauchen.

Das NAS System dient hauptsächlich als File Server, woran 2 Videoschnittplätze verbunden sind. Geplant war, dass man direkt vom Server arbeiten sollte, damit alle Projekte Zentral liegen und man nicht ständig Videos hin-und-her kopiert.

Nutze bisher keinen Switch. Werde dann wohl 2x256 GB SSDs für Cache kaufen müssen, würde das viel bringen? Sollte ich den RAM auch aufrüsten? Jumbo Frames ist noch nicht aktiv.

Machen Enterprise HDDs mit 128MB einen spürbaren Unterschied?

 

[bitrot]

Zu dem Thema gab es einen ausführlicheren Thread vor einiger Zeit.

Enterprise Platten sind vor allem aufgrund der höheren Drehzahl schneller, nicht nur bei der Zugriffszeit (was im Zeitalter von SSDs weniger relevant ist), sondern auch bei sequentiellen Datentransfers, was besonders in eurem Einsatzszenario Videoschnitt relevant ist. Wir reden jedoch hier nicht über Welten, sondern eher rund Faktor 2 max. bei großen Dateien (der Unterschied ist größer bei vielen kleinen). Caching würde bei 10GBe schon etwas bringen, 2 x 256 GB klingt nach einer vernünftigen Größe, da hilft nur ausprobieren.

Wie sind eigentlich die Clients bestückt? Der Server muss ja nicht nur die Daten mit so hoher Geschwindigkeit senden und empfangen können, die Clients müssen auch in der Lage sein die Leitung entsprechend auszulasten.

Wieviel RAM steckt denn in der Kiste? Für euren spezifischen Einsatzbereich sollten 8 GB Max. völlig ausreichen. Jumbo Frames können bei 10GBe schon einiges bringen, auch wenn Deine Intel NICs es auch ohne schaffen sollten, die Leitung auszulasten. Hast Du testweise mal probiert ein anderes Protokoll für die Datenübertragung zu nutzen? Z.B. FTP anstatt SMB oder gar AFP? SMB3 Multichannel, eingeführt mit Windows 10, aber leider noch nicht wirklich angekommen in der Linux Welt (vielleicht in DSM 6.1 und folgende), hilft auch dabei, sehr schnelle Leitungen auszulasten.

 

[frankyst72]

Werde dann wohl 2x256 GB SSDs für Cache kaufen müssen

klingt für mich bei 40 TB sehr wenig. Da es wohl Read- und Write-Cache ist sind die 256 GB im RAID1. Der Cache ist also 1 zu 400. Keine hohe Trefferwahrscheinlichkeit. Es gibt aber dazu den "SSD Cache-Ratgeber" unter Speicher-Manger > SSD Cache. Kommt halt darauf an, wie viel von den Daten oft gebraucht werden. Das siehst Du aber erst, wenn Deinen 40 TB ein paar Wochen im Gebrauch sind.

Könnte ihm ggf. iSCSI helfen?

 

[bitrot]

Die 40TB sind ja sicherlich nicht die Datenmenge, die stets aktuell bearbeitet wird. Der Cache muss sich ja nicht auf die komplette Größe des Datenspeichers beziehen, um effektiv zu sein.

 

[frankyst72]

hatte ich doch geschrieben

Kommt halt darauf an, wie viel von den Daten oft gebraucht werden.

 

[dil88]

Ich könnte mir vorstellen, dass (256GB) SSDs bei zwei Videoschnittplätzen mit richtig viel RAM nicht viel bringen. Die Arbeit muss im Client-RAM passieren, der I/O sollte primär sequentiell sein und sich nicht oft wiederholen. Ich würde bei 40TB auf viele Spindeln setzen und das System und die Clients optimieren (z.B. SMB2/Large MTU,SMB3). Ist aber nur meine Privateinschätzung, da gibts fittere Leute im Forum.

Edit: Beim Optimieren würde ich auch mit verschiedenen RAID-Typen experimentieren. Dabei spielt auch das Backup-Konzept eine Rolle.

 

[ello]

Ich werde mir den erwähnten Thread auch mal durchlesen.

40 TB werden nicht immer gebraucht, pro Projekt sind es ca. 400 GB Daten, allerdings wird das Videomaterial immer von einem Client bearbeitet.

Client 1: Windows 7 mit Samsung 850 Pro 1 TB
Client 2: Apple iMac mit 1TB FusionDrive (geplant umbau auf SSD) mit einem 10gbe Adapter

Rackstation hat 4GB RAM.
SMB2 ist schon aktiv. Andere Protokolle habe ich noch nicht getestet. FTP, SMB 2 Large MTU, SMB3, AFP und iSCSI werde ich mal probieren, kenne mich allerdings nicht so gut damit aus und muss mich erst schlau machen.

Ich hab bewust RAID 0 gewählt, um max. Performance zu ermöglichen. Backup möchte ich zukünftig auf eine DiskStation machen, die soll dann mit der Reckstation synchronisiert werden.
Muss schauen welche SSDs für den Cache geeignet sind.

 

[dil88]

RAID-0 sollte die höchste Performance bieten, auch wenn es in Reviews nicht immer so herauskommt. Large MTU könnte einiges bringen.

 

[bitrot]

Ein Ansatz für eine bessere Diagnose des Problems wäre einen Netzwerk-Benchmark wie z.B. iperf auf dem NAS zu installieren (etwas veraltete Anleitung siehe hier). So könntest Du, unabhängig von Festplattenperformance, Kompatibilitätsproblemen, Protokoll Overhead und anderen potenziellen Bremsen erst mal feststellen, ob die Leitung auf IP Ebene überhaupt ausgelastet werden kann. Iperf schreibt dabei ins RAM und ist eine gute Methode um zu evaluieren, wie schnell die Anbindung potenziell überhaupt sein kann.

 

[ello]

Hab nun 2x250 SSDs eingebaut, SMB 2 mit large mtu eingestellt und verbinde mich beim Mac über afp. Hat schon viel gebracht. Vom Widows Client kann ich Dateien mit ca. 450 MB/s aufm Server schreiben. Lesen mit Windows ist auch ca. 400 MB/s.

Am Mac Client ist es nicht ganz so schnell, könnte auch gut daran legen, dass der iMac nicht mit SSD läuft.

Habe allerdings jetzt das Problem, dass ich vom Win Client keine Dateien aufm Server schreiben kann (ca. 800 GB). Kriege die Meldung, dass nicht genügend freier Speicher aufm Laufwerk vorhanden ist Obwohl ca. 10.46 TB verfügbar ist.

Für den gemeinsamen Ordner, den wir als Netzlaufwerk nutzen, ist kein Kontingent eingestellt, lediglich lese/schreibe Berechtigung UND die erweiterte Freigabeberechtigung ist auch die die gleichen Nutzer aktiviert. Es kam irgendeine Meldung von ACL-Berechtigungen, weiß aber nicht was das ist.

Achja, hab sogar das komplette Volumen und den gemeinsamen Ordner neu erstellt, trotzdem hat sich nichts geändert.

 

[frankyst72]

Habe ich es richtig verstanden, dass die beiden SSDs Lese- und Schreibcache sind? Oder ist das ein eigenes Volume? Kann es sein, dass der Cache zu klein ist für die zu schreibenden 800 GB? Zugegeben, ich würde erwarten, dass das die Synology abfängt.

 

[ello]

Ja das ist richtig, die beiden SSDs sind für den schreib und lese Cache.

Also das wäre ja blöd, aber ich hatte die hälfte der Dateien schon einen Tag vorher drauf kopiert, konnte aber nichts mehr drauf kopieren....

 

[bitrot]

AFP hat einen ziemlich großen Overhead. Wenn möglich würde ich auf den Mac Clients ebenfalls auf SMB setzen, das allein sollte ca. 10% Performancezuwachs bringen.

 

[frankyst72]

bestehen die 800 GB aus mehreren Dateien? Wie groß ist die größte Datei?

 

[ello]

Ja es besteht aus vielen Dateien, ich weiß gerade nicht wie groß die größte Datei ist, aber maaaximal 30 GB

 

[ello]

Hallo zusammen,

ich habe zwei Fehlerquellen gefunden. Am Mac nutze ich einen SanLink 2 Thunderbolt Adapter, dieser war mit einem Thunderboltkabel ausgestattet, dieses Kabel war anscheinend ein älteres Thunderbolt 1 Kabel. Habe es ersetzt und konnte den Unterschied schon merken.
Zum anderen haben sich die Mac Rechner über WLAN mit dem NAS verbunden, warum auch immer. Normalerweise muss das Betriebssystem die schnellste Verbindung bevorzugen. Das ist mir garnicht aufgefallen, dass es über WLAN die Daten zieht.

Haben einen Freund(Informatiker) um Hilfe gebeten, er hat dann das NAS so konfiguriert, dass alle Rechner (3 Clients) über das NAS ins Internet können. Er hat die IP Adressen aus den Teilnetzen (die Unterschiedlichen Netzwerkports am NAS) so errechnet, dass alle in einem Netz liegen.

Auf jeden Fall, funktioniert alles gut, solange nur einer arbeitet, soweit ein zweiter Client Daten (ab 3GB) vom NAS kopiert, bricht die Performance total ein.

Hier die Frage, würde ein Switch hier aushelfen? Habe diesen Switch ausgesucht Netgear XS716E . Damit könnte man halt die 10GBseT Ports trunken....