Volume & Datenträger 80-100%

[outbreak198x]

Hallo,

ich hab hier ein RS815RP+, das Teil hat wunderbar monatelang funktioniert...

immer wieder Updates gemacht, natürlich, gehört sich ja so.

es laufen 4 Kameras, die über WAN aufzeichnen, Auslastung max. 9MBit insgesamt.
ansonsten wird das gute Teil nur für ISCSI Sicherungen verwendet, so getimed, dass möglichst immer nur 1 Server darauf gleichzeitig sichert.

Alles gut und schön, aber seit 3 Wochen ist Datenträgerauslastung auf 80-100%, Volumenauslastung meistens gleich auf 100% (CPU, RAM, LAN, Iscsi alles gut)
Reboot - keine Besserung
DSM 6.1.1-15101 U4 - keine Besserung
Indexdienst deinstalliert via SSH - keine Besserung
alle möglichen unnötigen Files gelöscht - keine Besserung
Kameras deaktiviert - keine Besserung
ISCSI auf 4.0 gewechselt - keine Besserung
alle Dienste deaktiviert nach der Reihe und wieder aktiviert - keine Besserung
alle ISCSI Verbindungen auf den Servern getrennt - keine Besserung
Aufgaben Manager sind viele LUNs (um die 30, obwohl nur 6 LUNs eingerichtet sind) unter DSM Interner Dienst drinnen ( 5-20MB lesen / 0-2MB schreiben zusammen, obwohl keiner was tut...)
Erweiterter SMART Test hat zwar 2 Tage gebraucht, aber alles gut...

Synology Ticket eröffnet, die schaffen scheinbar auch nichts... - meinen es kommt zu ISCSI flooding, war noch irgendwo ein altes NAS im Betrieb - entfernt - keine Besserung, ansonsten gibt es keine Probleme...

Ideen?, alles neu einrichten? wär etwas langweilig...

 

[outbreak198x]

nachdem die ISCSI Laufwerke nun alle einen halben Tag getrennt waren, ist dia Auslastung auf 0-20% also normal hätt ich mal gesagt...

wenn ich eines verbinde, sofort wieder 100%, ohne das etwas drüber läuft.

 

[outbreak198x]

Update auf letzte Version = Auslastung 0-15% also normal...

Problem allerdings nach wie vor - nur noch bei ISCSI lesen wohl gemerkt, das max. 4MB/s lesen möglich sind... schreiben beginnt mit 600MB, fällt dann runter auf 30MB - bei FTP oder SMB.. 90MB/s, also auch OK.

 

[eTechnik]

Ich habe genau den gleichen Effekt. Nur iSCSI, keine Anwendungen installiert. Volume Auslastung ist 100% obwohl im iSCSI Bereich nichts passiert.

Habe jetzt einen Supportticket geöffnet. Dort habe ich jetzt erstmal die Aufgabe bekommen einen erweiterten Smarttest zu machen. Der wird vermutlich auch ohne Befund, mal sehen.

Hat jemand evtl. schon eine Lösung gefunden?

 

[Puppetmaster]

Ohne, dass jetzt einmal Angaben dazu gemacht werden, woher die Auslastung denn kommt (Prozesse), ist das hier ein reiner Blindflug.

 

[eTechnik]

Ich bin da nicht Fit. Wie kann ich die Prozesse einsehen?

Habe jetzt mal alle iSCSI Target getrennt. Die Volume Auslastung bleibt.Wobei gerade die erweiterte SMART Test läuft. Kann der im Moment die Volume Auslastung hervorrufen?

 

[Puppetmaster]

Möglich.

Sehen kannst du das besser im Ressourcenmanager, dort werden die laufenden Prozesse mit CPU Last angezeigt.
Oder auf der Konsole (wenn du da fitter bist) z.B. mittels top.

 

[eTechnik]

Ah, Danke!



Top gibt mir das, aber das kann ich nicht interpretieren, kennen die Kisten gerade erst:

top
top - 14:41:22 up 5:08, 1 user, load average: 8.86, 8.74, 9.40
Tasks: 407 total, 1 running, 406 sleeping, 0 stopped, 0 zombie
%Cpu(s): 7.2 us, 2.6 sy, 0.0 ni, 61.2 id, 29.0 wa, 0.0 hi, 0.0 si, 0.0 st
GiB Mem : 31.473 total, 0.231 free, 0.769 used, 30.473 buff/cache
GiB Swap: 20.883 total, 20.883 free, 0.000 used. 29.636 avail Mem

PID USER PR NI VIRT RES %CPU %MEM TIME+ S COMMAND
11989 root 20 0 327.9m 14.1m 3.3 0.0 0:00.05 S synoscgi_SYNO.Storage.CGI.Storage_1_load_info
42 root rt 0 0.0m 0.0m 2.0 0.0 0:23.07 S [migration/7]
6522 system 20 0 1081.7m 9.1m 1.3 0.0 0:55.85 S /usr/bin/syslog-ng -F --worker-threads=8 -u system -g log
12252 root 5 -15 315.5m 13.8m 1.3 0.0 0:00.02 S /usr/syno/synoha/sbin/synoha --check-passive-crash
26703 root 20 0 11.6m 1.6m 1.3 0.0 0:07.73 S /bin/sh /usr/syno/synoha/etc.defaults/synoha_set_aff.sh
27601 root rt 0 649.1m 11.5m 1.3 0.0 0:51.28 S corosync
31049 root 20 0 0.0m 0.0m 1.3 0.0 0:28.42 D [kworker/7:9]
478 root 20 0 31.2m 22.6m 0.7 0.1 0:36.61 S /usr/bin/lsyncd /usr/syno/synoha/etc.defaults/confsync/sy+
840 root 20 0 0.0m 0.0m 0.7 0.0 0:07.36 D [EP_JNL_TASK]
9464 root 20 0 913.9m 13.4m 0.7 0.0 1:40.09 S /usr/syno/bin/scemd
10395 root 20 0 0.0m 0.0m 0.7 0.0 0:17.40 S [iscsi_np]
11991 root 20 0 309.2m 8.1m 0.7 0.0 0:00.01 S synoscgi_SYNO.Core.System.Utilization_1_get
27870 root 0 -20 81.4m 8.2m 0.7 0.0 1:35.57 S /lib/heartbeat/cib
30810 root 20 0 92.0m 1.5m 0.7 0.0 0:05.29 S /usr/syno/sbin/synostoraged
1 root 20 0 23.0m 3.5m 0.0 0.0 0:07.57 S /sbin/init
2 root 20 0 0.0m 0.0m 0.0 0.0 0:00.02 S [kthreadd]
3 root 20 0 0.0m 0.0m 0.0 0.0 0:02.98 S [ksoftirqd/0]
5 root 0 -20 0.0m 0.0m 0.0 0.0 0:00.00 S [kworker/0:0H]
7 root rt 0 0.0m 0.0m 0.0 0.0 0:01.91 S [migration/0]
8 root 20 0 0.0m 0.0m 0.0 0.0 0:00.00 S [rcu_bh]
9 root 20 0 0.0m 0.0m 0.0 0.0 0:29.65 S [rcu_sched]
10 root rt 0 0.0m 0.0m 0.0 0.0 0:00.40 S [watchdog/0]
11 root rt 0 0.0m 0.0m 0.0 0.0 0:00.11 S [watchdog/1]
12 root rt 0 0.0m 0.0m 0.0 0.0 0:01.85 S [migration/1]
13 root 20 0 0.0m 0.0m 0.0 0.0 0:03.58 S [ksoftirqd/1]
14 root 20 0 0.0m 0.0m 0.0 0.0 0:00.35 S [kworker/1:0]
15 root 0 -20 0.0m 0.0m 0.0 0.0 0:00.00 S [kworker/1:0H]
16 root rt 0 0.0m 0.0m 0.0 0.0 0:00.17 S [watchdog/2]
17 root rt 0 0.0m 0.0m 0.0 0.0 0:01.19 S [migration/2]
18 root 20 0 0.0m 0.0m 0.0 0.0 0:03.57 S [ksoftirqd/2]
20 root 0 -20 0.0m 0.0m 0.0 0.0 0:00.00 S [kworker/2:0H]
21 root rt 0 0.0m 0.0m 0.0 0.0 0:00.23 S [watchdog/3]
22 root rt 0 0.0m 0.0m 0.0 0.0 0:01.37 S [migration/3]
23 root 20 0 0.0m 0.0m 0.0 0.0 0:03.48 S [ksoftirqd/3]
24 root 20 0 0.0m 0.0m 0.0 0.0 0:03.03 S [kworker/3:0]
25 root 0 -20 0.0m 0.0m 0.0 0.0 0:00.00 S [kworker/3:0H]
26 root rt 0 0.0m 0.0m 0.0 0.0 0:00.15 S [watchdog/4]
27 root rt 0 0.0m 0.0m 0.0 0.0 0:01.80 S [migration/4]
28 root 20 0 0.0m 0.0m 0.0 0.0 0:03.80 S [ksoftirqd/4]
30 root 0 -20 0.0m 0.0m 0.0 0.0 0:00.00 S [kworker/4:0H]
31 root rt 0 0.0m 0.0m 0.0 0.0 0:00.15 S [watchdog/5]

 

[Puppetmaster]

Hm, ausser einem hohen I/O Wert sehe ich da jetzt nix. Und den würde ich jetzt auf den SMART Test schieben.

 

[eTechnik]

Der Syno Support schaut mal auf die Kiste. Mal sehen ob sie weiterkommen.

 

[eTechnik]

Hallo,

der Synology Support reagiert leider nicht und ich stecke mittlerweile ziemlich im Mist.

Das Cluster läuft eigentlich und die LUNs sind auch da, aber ich kein kein iSCSI Target Online schalten. Es steht auf Offline.

Gibt es jemand der Aktiv und gegen Bezahlung Hilfe leisten kann. Ich weiß nicht mehr weiter..........

 

[eTechnik]

Habe mit dem Support telefoniert. Im aktuellen DSM Stand gibt es einen iSCSI Bug, der dazu führt, das man iSCSI nicht mehr nutzen kann.

Es handelt sich um DSM 6.1.4-15217 Update 3.

Wann ein Fix kommt konnte man nicht sagen. Vielleicht 2 Stunden, 3 Tage oder Wochen.......

Naja, mein Volume high-load ist damit immer noch nicht geklärt. Ich habe das Custer mal bis auf den heartbeat getrennt. Die Volume ist zwischen 80-100 % belastet und die Disk zwischen 20 und 30 %.

Das DIng macht irgendwas mit sich selbst. Weiß jemand rat wie man weiter Diagnose betrieben kann?

 

[eTechnik]

Am letzten Donnerstag habe ich das Update 4 eingespielt. Ein Hinweis vom Support kam nicht, ich bin zufällig per Google wieder hier im Forum darauf gestoßen:

http://www.synology-forum.de/showthread.html?90117-Dsm-6-1-4-15217-4/

Dann habe ich den Support nochmal gefragt ob das meine Lösung ist und dann haben sich die Jungs prompt gemeldet und mir quasi den iSCSI Segen erteilt.

Es war holprig, weil das Updaten in einem HA Cluster nicht ohne weiteres ging, aber am Ende war alles gut. Details schriebe ich gleich im oben genannten Thread.

Mit Update 4 bin ich also back to stable system.