SMB-Zugriff auf Ordner mit mehr als 1000 Unterordnern langsam

[ecryptFS]

Hallo,

eingelesen hab ich mich schon ein bissl.

Was habt ihr gemacht, damit das Öffnen von Ordnern schneller geht?

Ich habe einen Ordner, der 24.000 Unterordner hat (Verschiedene Softwarerevisionen diverser Programme (die sich in der Entwicklung befinden), Dateien sind maximal 2-3 MB groß - insgesamt 250.000 Dateien). Diese hab ich nun aufgeteilt in weiter Ordner, weil sont der Zugriff EWIG gedauert hat: 0-9 und A-Z

Der Share ist nicht verschlüsselt und meine NAS (DSM 4.2 final) ist im BOND an 2 Gigabitports angebunden.

Folgendes habe ich nun schon gemacht:

1)
NAS-Systemsteuerung - Gemeinsamer Ordner:
- Datei Neuordnung - aktiviert
- Papierkorb - aktiviert

2)
NAS-Systemsteuerung - Win/Mac/NFS - Windows Dateidienst
- aktiviert
- Arbeitsgruppenname aller Rechner
- kein Eintrag bei Wins-Server
Checkboxen:
- SMB 2 und Large MTU aktivieren - aktiv
- Unterstützt Windows offline Dateien - inaktiv
- Opportunistische Sperre deaktivieren - aktiv
- Local Master Browser aktivieren - inaktiv
- Übertragunsprotokoll aktivieren - inaktiv


3)
Windows7-Client:
- "Automatisch nach Netzwerkordnern und Druckern suchen" in die Registry aufgenommen und Haken im Explorer dann entfernt

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\explorer\Advanced\Folder\NetCrawler]
"Type"="checkbox"
"Text"="Automatisch nach Netzwerkordnern und Druckern suchen"
"HKeyRoot"=dword:80000001
"RegPath"="Software\\Microsoft\\Windows\\CurrentVersion\\Explorer\\Advanced"
"ValueName"="NoNetCrawling"
"CheckedValue"=dword:00000000
"UncheckedValue"=dword:00000001
"DefaultValue"=dword:00000000
"HelpID"=""

- SMB 2 + Lage MTU Registryeinträge gesetzt:

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\LanmanWorkstation\Parameters]
"DisableLargeMtu"=dword:00000000
"DisableBandwidthThrottling"=dword:00000001

Router ist eine FritzBox 7390, aktuelle Firmware.

Wie gesagt, draufkopieren geht so mit 70 MB/Sekunde aber die Ordner öffnen dauert Ewigkeiten, selbst wenn es nur ein Ordner mit 10.000 Dateien oder 800 Unterordnern ist.

Hat jemand Abhilfe im Angebot? Danke!

 

[ecryptFS]

hm, so richtig fix ist das alles nicht.

Nachdem ich beim Kopieren größerer Dateien mit SMB2 Probleme hatte hab ich es wieder auf SMB normal zurückgedreht.

Selbst der Zugriff auf einen Ordner mit 700 Unterordnern braucht ca. 4-7 Sekunden.

Hat niemand eine Idee?

Edit:

http://www.synology-forum.de/showth...-manche-Dateitypen-(Anwendungen)-sehr-langsam.

Ich habe im Kontextmenü nur WinRAR Standard drin, Avira und Acrobat.

 

[ecryptFS]

mal was neues... VM mit XP (Windows XP Mode) ---> Ordner mit 1686 Unterordner / 34000 Dateien --> 21 Sekunden, bis das Directory angezeigt wird! Die VM ist ein "nacktes" Windows XP SP3 ohne Virenscanner etc.

 

[fibumm]

nach dem ich im Windows in den Einstellungen der Netzwerkkarte die Jumbo-Pakets deaktiviert habe ging es bei mit flott. Auch bei Ordnern mit mehreren Tausend Dateien. In der FS habe ich die Jumbo-Pakets aktiviert gelassen. Das System war XP, also nicht W7. Vielleicht hilft es auch bei Dir.

 

[ecryptFS]

danke! Bei mir ist es auch unter Linux lahm. Auch über Android (was ja auch nix anderes ist...) mit ES Datei Explorer... dauert ewig.

 

[raymond]

Hast du einen Vergleich wie schnell es geht von einem Windows zu einem Windows Rechner oder von einem Linux auf einen Linux Rechner (jeweils "normale" und aktuelle Linuxdistribution)?

 

[ecryptFS]

nicht wirklich. z.B. mit Win7 hängt der Explorer bei 1400 Ordnern bestimmt 15 Sekunden.

Aber selbst mit dem internen File-Explorer dauert es bis zu 10 Sekunden.

Das ist auch der Mist, wenn man ein RAID5 auf 8 Platten macht - da sucht sich der Controller schon mal den Wolf!

 

[raymond]

Eventuell ist das kein Problem von Synology sondern von Samba selbst. Vielleicht muss du die Ordner auch anders organisieren und weniger Unterordner pro Ordner nutzen. Ich würde auch mal die die Samba community kontaktieren und die das nachstellen lassen.

Vielleicht ist auch was mit Samba 4.0/4.1 in der Richtung gemacht...keine Ahnung. Kann man da gleich mal nachfragen.

Kann man vielleicht noch was am Switch machen (mal an alle gerichtet)?

 

[JoGi65]

nicht wirklich. z.B. mit Win7 hängt der Explorer bei 1400 Ordnern bestimmt 15 Sekunden.

Aber selbst mit dem internen File-Explorer dauert es bis zu 10 Sekunden.

Das ist auch der Mist, wenn man ein RAID5 auf 8 Platten macht - da sucht sich der Controller schon mal den Wolf!

ich bin mir jetzt nicht sicher, ob ich Dein Problem verstehe.
als Vergleich hab ich einen Ordner, der 5,73 TB groß ist.
Im Root des Ordners sind bei mir 1363 Ordner. In diesen befinden sich noch weitere 1903 Unterordner. Insgesammt 29.481 Dateien.
Wenn ich am Rechner den Ordner anklicke, dauert es Sekunden Bruchteile, bis der Ordner im Explorer offen ist, und es ist ein Raid 6 (SHR2) über 10 Platten. (Win 8)
Selbst am Handy dauert es keine 2sec. bis der Ordner offen ist.


Schreib mal ob ich Dein Problem verstanden habe, dann kann ich es auch auf meiner Sicherungs DS der 1812 testen SHR1. Auf dem Rechner NW Monitor ist das ein 1mbit Spike.

 

[ecryptFS]

das stimmt schon so...

okay, bei mir sinds ca. 8 Terabyte und da sind bestimmt 80.000 Unterordner von A-Z 0-9, an Dateien ca. 800.000 - 1.000.000

Hast Du an der Samba-Konfiguration an der DiskStation etwas geändert?

Bei mir siehts so aus:

- Windows Dateidienst aktivieren
- Arbeitsgruppe: Arbeitsgruppennamen aller Geräte

Ansonsten nichts aktiviert, auch nicht in erweiterte Einstellungen.

Hast Du an Windows etwas geändert? Win8 könnte ich noch mal mit einer VM versuchen, vielleicht haben die ja was am BS geändert?

 

[JoGi65]

Auf der 2411 ist SMB2 aktiviert, sonst nichts.
1812 hab ich jetzt getestet. Da ist SMB2 nicht aktiviert, aber ist genauso schnell. Die Aktion löst weder CPU Last noch sonstwas aus.
Allerdings sind meine DSen reine Fileserver. Da gibt es nichtmal Video Ordner, oder sonst ein Zeug.

Wie läuft den das Kopieren? ist das auch langsam? EV spinnt ja eine Platte.

Edit: Hast Du schon mal einen Lan Anschluß abgesteckt? Würde ich auch versuchen.

 

[ecryptFS]

die NAS läuft im Bond. Ist zwar sinnlos aber funktioniert. Kopieren geht relativ schnell. ca 80 MB/s auf einen unverschlüsselten Share, ca. 20-30 MB/s auf einen verschlüsselten Share.

Die Platten laufen alle rund...

 

[JoGi65]

bei meiner 4gb Testdatei sinkt die Schreibrate praktisch nicht unter 100 (raid6 bzw shr2). Lesen höher, ftp höher, win7 höher.
Steck einmal einen NW Anschluß ab, bzw den PC direkt an. Schaut für mich trotzdem nach platten oder NW Problem aus.

 

[ecryptFS]

die NAS steht im Keller, das wird etwas schwer mit direkt an den PC - am Notebook sind es aber ungefähr auch die gleichen Geschwindigkeiten. Ich zieh mal ein Netzwerkkabel die Tage und berichte...

 

[Theslowman]

Schau mal ob die Platten alle blinken wenn du durch die Verzeichnisse klickst..... Was für Platten hast du in deinem Raid5 drin ?

Gruß TSM

 

[ecryptFS]

blinken alle... Die Platten sowie die gesamte Konfig steht in der Sig... 8x WD Red 3TB

 

[Theslowman]

Ich würde mal tippen das die Anzahl der Platten im Verhältnis zur CPU Leistung das Problem ist/ sein wird. Testweise mal mit einem "kleineren Verzeichnis" probiert was da passiert?

Eventuell würde ich, wenn es möglich ist bei dir, die Daten auf 2 oder mehr Nassysteme teilen ( Überlegung). Den produktiven Teil dann aber auf einem reinen Raid 1 betreiben.

Gruß TSM

 

[ecryptFS]

Ein kleines Verzeichnis wird ruckzuck kopiert und auch der Zugriff geht schnell vonstatten.

Eine NAS reicht mir aber. Natürlich nervt das, wenn ich per SMB drauf gehe, gerade wenn ich die Daten vom PC aus verwalten will... aber um zum Beispiel archivierte Musik zu hören nehme ich eh mein Android Tablet und BubbleUPnP.

Wenn ich Dateien raufkopiere helfe ich mir so... in ein Verzeichnis z.B. NEU und von dort mit dem File Manager der SynoDSM in die Ordner ziehen - der verschiebt ohne in die Ordner zu schauen.

 

[Theslowman]

Ein kleines Verzeichnis wird ruckzuck kopiert und auch der Zugriff geht schnell vonstatten.

OK, dann würde ich wirklich drauf tippen das du zu viele "Spindeln am laufen hast". Da alle Platten I/O und CPU Lats generieren bei der Verzeichnisanzeige liegt da das Problem. Da ist das Raid5 "hinderlich" und Samba tut dann da noch sein übriges dazu. CPU Last etc.....

Lösung sehe ich wirklich nur darin, die Daten zu trennen und auf einer separaten NAS zu betreiben im Raid1 wenns unter 4TB ist. Von wieviel Datenmenge reden wir in deinem "produktiven" Verzeichnis.

Gruß TSM

 

[ecryptFS]

unter 4TB auf keinen Fall... wenn es nur ein wenig scheller wäre würde ich auch gar nicht meckern