AvrLogger : Thermallogger und Visualisierung Tool

[BigRonin]

Hmmm ... eine kleine Abweichung in der Größenordnung von 1 - 2% hab ich erwartet ... aber nicht knappe 5%

DS2415+
Anhang anzeigen 48639

VMM
Anhang anzeigen 48640

RS3617xs
Anhang anzeigen 48641


Ich fürchte das diese Abweichung bis auf weiteres so bleiben wird (auf meinen DS stimmt der Wert bis auf 1%), solange ich keine "kleine" DS zum testen habe.
Muss mal zusehen das ich irgendwo eine gebrauchte oder so bekomme.

Aber auf jeden Fall vielen Dank für deine rasche Reaktionszeit und Reparatur für die Realtek-User.

Danke für eure Gedult und HIlfe ,,, diesmal wäre es ohne die Hilfe nicht gegangen

 

[Kurt-oe1kyw]

Ich habe es schon einige Male hier gesagt und kann es nur immer wieder Wiederholen:

WIR HABEN ZU DANKEN für deine Mühe, Zeit und Energie welches du in dieses Projekt steckst und uns hier entgeltlos zur Verfügung stellst.
Und ich nehme mir die Freiheit heraus, du wolltest ursprünglich "nur" die CPU Temperatur einer Diskstation in einer grafischen Übersicht aufzeigen zur besseren Übersicht und jetzt schau dir deinen Erfolg an und welche Dimension dein ursprüngliches Vorhaben mittlerweilen angenommen und erreicht hat.
Noch mal: VIELEN DANK DAFÜR!

Zur Erinnerung vor 11 Monaten (!) hat die Grafik noch so ausgesehen wie im Beitrag #2 <klick> und so schaut es aber aktuell heute aus:



"Irgendwie" ist das historisch gewachsen ^^

Leider dampft die Forensoftware das Bild ein, am Monitor daheim ist das heller, kräftiger und viel deutlicher erkennbar!
Hier ein Vergleich vom obigen Bildausschnitt wie es tatsächlich aussieht:

 

[BigRonin]

Bin mal gespannt ob mir irgend wann die Ideen für neues ausgehen ... oder wann ich die DS118 in die Knie zwinge

 

[Kurt-oe1kyw]

ah keine Sorge, die DS118 ist relativ leistungsfähig mit ihrer 4 Kern CPU und dem 1 GB RAM. Da ist schon noch "Luft nach oben" ^^

 

[BigRonin]

... so ... hab eben die Version 1.0.8-016 bei cphub hochgeladen ... ist identisch mit der Version von meinem Server außer das die "Neues" entsprechend angepasst ist und der Hinweis auf den "SpeedTest" nicht enthalten ist ... aber der kommt mit einer der nächsten Versionen

 

[Kurt-oe1kyw]

nur informativ die "neue" -016 von cphub hab ich eben installiert, läuft erwartungsgemäß auf der Realtek Maschine.

 

[Kurt-oe1kyw]

Ich packe die Info auch mal hier in dieses Thema falls es nicht sowieso schon bekannt ist. Im neuen Hyperbackup 2.2.1-1110 wird während einer Datensicherung AvrLogger angehalten und danach wieder fortgesetzt.
Siehe auch mein Bild in diesem Beitrag <klick>
Nur falls mal jemand danach suchen sollte, dann wird er vermutlich hier im "Hauptthema" zum AvrLogger eventuell zuerst nachsehen, warum da beim AvrLogger ein Rufzeichen in Hyperbackup aufscheint.

 

[BigRonin]

Ja, das Symbol in Hyperbackup ist neu, habe ich auch erst mit deinem Post mitbekommen.



Das AvrLogger angehalten wird ist jedoch nicht neu:



Und anders, als das Pop-Up vermuten lässt, wird AvrLogger nur für den kurzen Augenblick angehalten in dem AvrLogger die Daten für die Sicherung breitstellt bzw. beim Wiederherstellen:



Hyperbackup führt die Sicherung um 01:15:00 aus und hat um 01:15:46 die Daten von AvrLogger gesichert und war damit um 01:15:47 fertig. Und ab 01:15:47 lief AvrLogger wieder.

 

[BigRonin]

Nachdem ich meine neue (gebrauchte) DS118 mit Anlaufschwierigkeiten, in Betrieb genommen habe, ist es mir gelungen die Berechnung der Speicherauslastung zu verbessern:

Anhang anzeigen 48713

AvrLogger sollte nun die Auslastung mit einer Toleranz von 1% richtig darstellen. Entgegen meiner früheren Aussage, der DSM würde den Wert „aufrunden“, kann ich nun sagen der DSM „rundet“ ab.
Das heißt, solange ich nichts anderes feststelle behaupte ich, AvrLogger wird immer etwas mehr anzeigen da ich eine Nachkommastelle berücksichtige.

Eine neue Version von AvrLogger, mit ein paar weiteren Verbesserungen, kommt demnächst.

Eine Vorschau kann von meinem Server geladen und getestet werden

 

[Kurt-oe1kyw]

ja läuft prima und DSM rundet in der RAM Auslastung ab. Im Schnitt bei 28% im DSM, zeigt die Grafik im AvrLogger 32% an:



Der "Sprung" der RAM Anzeige um ca. 16:50 mit der neuen -017 ist in der Grafik deutlich zu sehen.

 

[BigRonin]

Welche DS ?? ... hab nach einer Stunde bei mir auf der DS2415+ gesehen das der Wert langsam wegläuft

 

[Kurt-oe1kyw]

ah ja sri, auf der Realtek Maschine und JA du hast Recht, Tendenz ist fallend:



Also der Wert ist fast konstant gleich bei 28% RAM Auslastung im DSM, und fällt jetzt im AvrLogger, siehe Grafik.

 

[ruedi66]

Servus

Ich geb zu, ich hab nicht alle Beiträge zum Ram-Problem gelesen. Aber trotzdem möchte ich dich kurz fragen, ob du es bereits mit SNMP versucht hast.
Also genau gesagt mit der von Synology vorgegebenen:

Table 19. Memory-Related OID
OID Name Explanation
.1.3.6.1.4.1.2021.4.3.0 memTotalSwap The total amount of swap space configured for this host
.1.3.6.1.4.1.2021.4.4.0 memAvailSwap The amount of swap space currently unused or available
.1.3.6.1.4.1.2021.4.5.0 memTotalReal The total amount of real/physical memory
.1.3.6.1.4.1.2021.4.6.0 memAvailReal The amount of real/physical memory currently unused or available
.1.3.6.1.4.1.2021.4.11.0 memTotalFree The total amount of memory free or available for use on this host (This value typically covers both real memory and swap space or virtual memory.)
.1.3.6.1.4.1.2021.4.13.0 memShared The total amount of real or virtual memory currently allocated for use as shared memory
.1.3.6.1.4.1.2021.4.14.0 memBuffer The total amount of real or virtual memory currently allocated for use as memory buffers
.1.3.6.1.4.1.2021.4.15.0 memCached The total amount of real or virtual memory currently allocated for use as cached memory

https://global.download.synology.com/download/Document/MIBGuide/Synology_DiskStation_MIB_Guide.pdf?lang=enu

Eventuell bekommt du dort brauchbare(re) Werte. Oder zumindest stimmen Sie dann mit der ungenauen von Synology überein

 

[BigRonin]

Ja, danke, die OISs kenne ich

Das Problem (die Herausforderung) war die korrekte Berechnung der Auslastung in Prozent.

Ich habe sehr (sehr) lange gebraucht herauszufinden wie das der DSM macht. Bei meinen ersten Versuchen habe ich jeweils die Werte aus OIDs bzw. /proc/meminfo genutzt und habe „nie“ denselben Wert bekommen wie ihn der DSM ausgibt.

Bis ich darauf gekommen bin das (wahrscheinlich) hier der Krux liegt:

MemTotalReal (OID)  = 19.637 (meminfo) 19.637 GB
MemTotalFree (OID)  =  0.507 (meminfo)  0.248 GB
MemBuffer    (OID)  =  0.057 (meminfo)  0.057 GB
MemCached    (OID)  = 10.781 (meminfo) 13.345 GB

Jetzt benutze ich eine Kombination aus beiden Quelle (OID und /proc/meminfo) und es sieht so aus als ob es passt

 

[ruedi66]

Das sind ja enorme Unterschiede bei dir zwischen OID und meminfo.
Bei mir sind es ein paar MB, die könnten aber auch davon kommen, weil die beiden Befehle durch das && nacheinander und nicht gleichzeitig ausgeführt werden.


memTotalFree:

root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 252324 kB
MemFree:          256276 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 254884 kB
MemFree:          255632 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 258216 kB
MemFree:          260776 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 259540 kB
MemFree:          260024 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 259540 kB
MemFree:          259496 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 257520 kB
MemFree:          258512 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 257520 kB
MemFree:          260036 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 258624 kB
MemFree:          259728 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 258624 kB
MemFree:          258808 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 258624 kB
MemFree:          260060 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 257788 kB
MemFree:          258892 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 257788 kB
MemFree:          259324 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 257788 kB
MemFree:          259380 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 257788 kB
MemFree:          260464 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 253444 kB
MemFree:          254548 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 260548 kB
MemFree:          260748 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 259512 kB
MemFree:          257236 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 260228 kB
MemFree:          260456 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.11.0 && cat /proc/meminfo | grep MemFree
UCD-SNMP-MIB::memTotalFree.0 = INTEGER: 260228 kB
MemFree:          260696 kB

memCached:

root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25298536 kB
Cached:         25349728 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25298536 kB
Cached:         25349688 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25298488 kB
Cached:         25349712 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25298488 kB
Cached:         25349708 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25298480 kB
Cached:         25349704 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25298480 kB
Cached:         25349724 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25299140 kB
Cached:         25350384 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25299140 kB
Cached:         25350344 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25299140 kB
Cached:         25350400 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25299140 kB
Cached:         25350400 kB
root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached
UCD-SNMP-MIB::memCached.0 = INTEGER: 25299140 kB
Cached:         25350400 kB

Bist du dir sicher, dass du nirgends einen Umrechnungsfehler drin hast?^^

 

[BigRonin]

Ich sag mal so, „sicher“ bin ich mir nicht … da mir der Rechenweg bis hin zur Auslastung, wie er in der DSM anzeigt, nicht kenne.

Die Unterschiede zwischen den OIDs und der meminfo ist bei mir auf 4 verschiedenen Testsystemen zum Teil enorm groß. (Rs3617xs, DS2415+, DS118 und VMM)

Mein aktueller Rechenweg zur Auslastung zeigt „jetzt“ auf allen 4 Testsystemen einen plausiblen Wert an, mit einer Abweichung von ca. 1%. Die Abweichung führe ich darauf zurück das der DSM den Prozentwert „abrundet“ und ich die erste Nachkomastelle mit einbeziehe.

Eine aktualisierte Testversion von AvrLogger, in der ich noch einmal den Rechenweg verfeinert habe, hab ich heute nochmal auf meinen Server abgelegt.

 

[PsychoHH]

Kannst ja mal folgenden Befehl nutzen, dann hast du fast alle Werte die du so noch benötigst.

/usr/syno/bin/synowebapi --exec api=SYNO.Core.System.Utilization method=get

cpu:user_load
memory:real_usage

 

[BigRonin]

... und warum kommst du damit erst jetzt

      "memory" : {
         "avail_real" : 450032,
         "avail_swap" : 272228,
         "buffer" : 58336,
         "cached" : 11082268,
         "device" : "Memory",
         "memory_size" : 20971520,
         "real_usage" : 43,
         "si_disk" : 0,
         "so_disk" : 1,
         "swap_usage" : 87,
         "total_real" : 20591180,
         "total_swap" : 2097084
      },

... und woher hast du diese viele Informationen was man noch so über API Aufrufe ermitteln kann ... also ich wäre da ernsthaft drann interessiert

 

[PsychoHH]

Habe ich mir eben mal schnell per Konsole rausgesucht

Wollte auch mal paar Werte für UB haben, bzw. eine eigene Systemanzeige für ioBroker/Node-red haben.
Irgendwann will ich dann meine DS mit einem eigenen ioBroker System steuern.
Verschlüsselte Ordner per Button über VPN Key mounten/trennen usw.

Baue mir dann eventuell mal so eine Übersicht und kann es dann per curl direkt an ioBroker übergeben

data_all=$(/usr/syno/bin/synowebapi --exec api=SYNO.Core.System.Utilization version=1 method=get)
data_cpu=$(echo "$data_all" | jq -r .data.cpu.user_load)
data_memory=$(echo "$data_all" | jq -r .data.memory.real_usage)

*edit kriegst gleich ne PN

 

[ruedi66]

Über die API sind halt einfach die Abfragen viel träger und CPU intensiv. Das würde ich nur als Notlösung so machen. Du rufst ja dann über die API umständlich einen HTTP/CGI/Unix Befehl auf, der viel mehr Resourcen braucht als direkte Abfrage via Bash.

Aber auch über die API bekomme ich fast immer die gleichen Resultate:

root@server:/root# snmpwalk -v 2c  -c "syno" 127.0.0.1 .1.3.6.1.4.1.2021.4.15.0 && cat /proc/meminfo | grep ^Cached && /usr/syno/bin/synowebapi --exec api=SYNO.Core.System.Utilization method=get | grep "cached"
UCD-SNMP-MIB::memCached.0 = INTEGER: 25334284 kB
Cached:         25412856 kB
[Line 259] Exec WebAPI:  api=SYNO.Core.System.Utilization, version=1, method=get, param={}, runner=
         "cached" : 25334284,

ich teste das nachher mal an einer DS213+