AvrLogger : Thermallogger und Visualisierung Tool

[AndiHeitzer]

Wenn Du 'nen Unfall hast — krieg' ich Deine Hardware?

Jetzt, wo Du das sagst ...

Den vergorenen Traubensaft gibt es nur am Abend

Also zuerst ? und danach am Abend ?

 

[BigRonin]

sowas luxuriösem wie PyCharm IDE

tja ... ich oute mich mal … so sehr die IDE’s auf alternativen Betriebssystemen ihre Annehmlichkeiten haben … ich habe meine IDE selber zusammengestellt bzw. programmiert.

Jetzt kommt’s … ich programmiere ausschließlich auf meiner RackStation direkt im DSM. Testen, die Hilfeseiten kompilieren und SPK erstellen, via Terminal. Als Editor kommt das Paket „Text-Editor“ zum Zuge. Zum schnellen anschauen von Dateien nutze ich den WinSCP. Ich habe mich inzwischen sehr gut mit dem Editor angefreundet … ja, eine dumme Angewohnheit hat der Editor … der löscht manchmal einen Einzug wenn man eine Leerzeile einfügt. Das wiederum mag Python gar nicht und man sucht sich einen Wolf warum etwas was vorher funktioniert hat, mit einem mal nicht mehr korrekt läuft.

Versionskontrolle … alles von Hand.

... Traubensaft gibt es nur am Abend

 

[gaspard]

@BigRonin
Der Test auf USB-Fix sieht gut aus:

$ ps ax | grep -v grep | grep AvrLogger.py
 9493 ?        Sl     0:04 python3 /var/packages/AvrLogger/target/AvrLogger.py
$ cat /var/packages/AvrLogger/etc/log/error
---------------------------------------------------------------------------------
2020.07.17 12:53:27 PreInst   : Preparing INSTALL v3.0.1-003
2020.07.17 12:53:30 PostInst  : INSTALL v3.0.1-003
---------------------------------------------------------------------------------
2020.07.17 12:53:30 PostInst  : Renamed "/helptoc" to "/.helptoc"
2020.07.17 12:53:30 PostInst  : Directory structure "etc" created
2020.07.17 12:53:30 PostInst  : Unsupported "scemd.xml" - Fan control is disabled.
2020.07.17 12:53:30 PostInst  : Use of "Shared Memory" is enabled
2020.07.17 12:53:30 PostInst  : Config "Default.cnf" created
2020.07.17 12:53:30 PostInst  : Config "schedule.conf" created
2020.07.17 12:53:30 PostInst  : Symbolic link in 3rdparty created
---------------------------------------------------------------------------------
2020.07.17 12:53:30 AvrLogger v3.0.1-003 INSTALL successful.
---------------------------------------------------------------------------------
2020.07.17 12:55:24 PKG: AvrLogger was started by DSM ...
2020.07.17 13:39:14 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/config"
2020.07.17 13:39:14 PKG: "config" is restored from the vault.
2020.07.17 13:39:14 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 13:39:16 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/tmp"
2020.07.17 13:39:16 PKG: "tmp" is restored from the vault.
2020.07.17 13:39:16 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 13:39:20 PKG: AvrLogger was started by DSM ...

Danke dafür!

 

[BigRonin]

2020.07.17 13:39:16 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/tmp"

... nicht ganz so gut ... es ist doch immer wieder was neues

 

[gaspard]

Also zuerst ? und danach am Abend ?

Also kein? —gut so!
Jetzt bin ich ein bischen neidisch. (Aber nur ein kleines bischen.)

jetzt kommt’s … ich programmiere [ … ]

OK, das ist Hardcore. Da werd ich ganz kleinlaut. ?

 

[gaspard]

... nicht ganz so gut ... es ist doch immer wieder was neues

Schon deutlich weniger als beim letzten Log.

Könnte ich irgendwie etwas so zerschossen haben dass eine Neuinstallation sinnvoll ist -- ich meine, wenn ich der einzige bin der Probleme hat liegt das doch nahe?

 

[BigRonin]

Ist bei dir zwischen 12:55:24 und 13:39:14 irgendetwas ungewöhnliches mit der DS gewesen? ... Reset ... PowerLoose ... ??

 

[BigRonin]

eine Neuinstallation sinnvoll ist

... ich denke ist ist absolute nicht notwendig.

 

[BigRonin]

In dem erstem error-LOG da stand noch :

Use of "Shared Memory" is disabled

In dem LOG von eben :

Use of "Shared Memory" is enabled

Meine Frage : Hattest du AvrLogger mit der Version von meinem Server nur drüber installiert oder komplett neu?

 

[gaspard]

Ist bei dir zwischen 12:55:24 und 13:39:14 irgendetwas ungewöhnliches mit der DS gewesen?

Ja, da hab ich die DS abgewürgt (Stecker raus). Ich kam sonst nicht mehr rein: Keine Logins unter <NAS>:5001 oder (webmin) <NAS>:10000 oder ssh.

So siehts kurz nach dem Abwürgen-Hochfahren (14:17) aus:

$ ps ax | grep -v grep | grep AvrLogger.py
10179 ? S 0:04 python3 /var/packages/AvrLogger/target/AvrLogger.py
$ cat /var/packages/AvrLogger/etc/log/error
---------------------------------------------------------------------------------
2020.07.17 12:53:27 PreInst : Preparing INSTALL v3.0.1-003
2020.07.17 12:53:30 PostInst : INSTALL v3.0.1-003
---------------------------------------------------------------------------------
2020.07.17 12:53:30 PostInst : Renamed "/helptoc" to "/.helptoc"
2020.07.17 12:53:30 PostInst : Directory structure "etc" created
2020.07.17 12:53:30 PostInst : Unsupported "scemd.xml" - Fan control is disabled.
2020.07.17 12:53:30 PostInst : Use of "Shared Memory" is enabled
2020.07.17 12:53:30 PostInst : Config "Default.cnf" created
2020.07.17 12:53:30 PostInst : Config "schedule.conf" created
2020.07.17 12:53:30 PostInst : Symbolic link in 3rdparty created
---------------------------------------------------------------------------------
2020.07.17 12:53:30 AvrLogger v3.0.1-003 INSTALL successful.
---------------------------------------------------------------------------------
2020.07.17 12:55:24 PKG: AvrLogger was started by DSM ...
2020.07.17 13:39:14 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/config"
2020.07.17 13:39:14 PKG: "config" is restored from the vault.
2020.07.17 13:39:14 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 13:39:16 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/tmp"
2020.07.17 13:39:16 PKG: "tmp" is restored from the vault.
2020.07.17 13:39:16 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 13:39:20 PKG: AvrLogger was started by DSM ...
2020.07.17 14:17:03 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/config"
2020.07.17 14:17:03 PKG: "config" is restored from the vault.
2020.07.17 14:17:03 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 14:17:06 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/tmp"
2020.07.17 14:17:06 PKG: "tmp" is restored from the vault.
2020.07.17 14:17:06 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 14:17:16 PKG: AvrLogger was started by DSM ...

 

[gaspard]

von meinem Server nur drüber installiert oder komplett neu?

Komplett neu, manuell die SPK vom Server. Hatte gestern nach Deinem Rat erstmal deinstalliert.

 

[gaspard]

nur drüber installiert oder komplett neu?

Diesmal mit RAMDisk, das letzte Mal war dann wohl ohne. Das ist doch Shared Memory?

 

[BigRonin]

wenn ich der einzige bin der Probleme hat liegt das doch nahe?

... nein ? ... Bislang war es immer so, dass durch die Vielzahl an Installationen, immer etwas Neues aufgetreten ist. Wenn du, was du natürlich machen kannst, AvrLogger komplett neu installierst, nimmst du mir die Chance den Fehler zu finden, der nach meiner bisherigen Erfahrung zu 99,998% an AvrLogger liegt.

ab ich die DS abgewürgt (Stecker raus)

... ooookkkk .... das mag AvrLogger nicht ? ...

/dev/shm/

ist eine quasi "RamDisk" die von Linux-Kernel bereitgestellt wird ... die ist nun mal flüchtig.

Wenn das eher öfters vorkommt, dann würde ich dir empfehlen AvrLogger doch einmal „drüber“ zu installieren, nur diesmal drauf achtest, das du die Nutzung des SharedMemoy (die RamDisk“) deaktivierst.

Haha ... da haben wir uns überschnitten ?

 

[gaspard]

AvrLogger doch einmal „drüber“ zu installieren, nur diesmal drauf achtest, das du die Nutzung des SharedMemoy (die RamDisk“) deaktivierst.

Ok, mache ich.

 

[gaspard]

So, das ist jetzt nach Neuinstallation ohne vorheriges Stoppen oder Deinstallation.
Keine RAMDisk beim Installieren aktiviert.

$ ps ax | grep -v grep | grep AvrLogger.py
22792 ?        S      0:05 python3 /var/packages/AvrLogger/target/AvrLogger.py
$ cat /var/packages/AvrLogger/etc/log/error
---------------------------------------------------------------------------------
2020.07.17 12:53:27 PreInst   : Preparing INSTALL v3.0.1-003
2020.07.17 12:53:30 PostInst  : INSTALL v3.0.1-003
---------------------------------------------------------------------------------
2020.07.17 12:53:30 PostInst  : Renamed "/helptoc" to "/.helptoc"
2020.07.17 12:53:30 PostInst  : Directory structure "etc" created
2020.07.17 12:53:30 PostInst  : Unsupported "scemd.xml" - Fan control is disabled.
2020.07.17 12:53:30 PostInst  : Use of "Shared Memory" is enabled
2020.07.17 12:53:30 PostInst  : Config "Default.cnf" created
2020.07.17 12:53:30 PostInst  : Config "schedule.conf" created
2020.07.17 12:53:30 PostInst  : Symbolic link in 3rdparty created
---------------------------------------------------------------------------------
2020.07.17 12:53:30 AvrLogger v3.0.1-003 INSTALL successful.
---------------------------------------------------------------------------------
2020.07.17 12:55:24 PKG: AvrLogger was started by DSM ...
2020.07.17 13:39:14 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/config"
2020.07.17 13:39:14 PKG: "config" is restored from the vault.
2020.07.17 13:39:14 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 13:39:16 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/tmp"
2020.07.17 13:39:16 PKG: "tmp" is restored from the vault.
2020.07.17 13:39:16 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 13:39:20 PKG: AvrLogger was started by DSM ...
2020.07.17 14:17:03 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/config"
2020.07.17 14:17:03 PKG: "config" is restored from the vault.
2020.07.17 14:17:03 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 14:17:06 PKG: Fatal error occurred. Unable to access "/dev/shm/AvrLogger/tmp"
2020.07.17 14:17:06 PKG: "tmp" is restored from the vault.
2020.07.17 14:17:06 PKG: The data since the last start of the Daemon is probably lost.
2020.07.17 14:17:16 PKG: AvrLogger was started by DSM ...
2020.07.17 14:42:41 PKG: AvrLogger was stopped by DSM ...
---------------------------------------------------------------------------------
2020.07.17 14:42:48 PreUpgrade: from v3.0.1-003 ...
2020.07.17 14:42:48 PreUpgrade: Settings successfully saved for reuse
2020.07.17 14:42:49 PreUninst : UPGRADE is being prepared ...
2020.07.17 14:42:49 PreUninst : Symbolic link in 3rdparty deleted
---------------------------------------------------------------------------------
2020.07.17 14:42:53 PreInst   : Preparing UPGRADE v3.0.1-003
2020.07.17 14:43:04 PostInst  : UPGRADE v3.0.1-003
---------------------------------------------------------------------------------
2020.07.17 14:43:04 PostInst  : Renamed "/helptoc" to "/.helptoc"
2020.07.17 14:43:04 PostInst  : Reuse "/etc"
2020.07.17 14:43:04 PostInst  : Unsupported "scemd.xml" - Fan control is disabled.
2020.07.17 14:43:04 PostInst  : Config "log.conf" updated
2020.07.17 14:43:04 PostInst  : Use of "Shared Memory" is disabled
2020.07.17 14:43:04 PostInst  : Config "Default.cnf" created
2020.07.17 14:43:04 PostInst  : Config "schedule.conf" created
2020.07.17 14:43:04 PostInst  : Symbolic link in 3rdparty created
---------------------------------------------------------------------------------
2020.07.17 14:43:04 AvrLogger v3.0.1-003 UPGRADE successful.
---------------------------------------------------------------------------------
2020.07.17 14:44:34 PKG: AvrLogger was started by DSM ...
2020.07.17 14:44:56 SYS: Unexpected change of "[sda] Drive 1"
TimeStamp :
{
    "time": 1594988002
}
DiskInfo  :
{
    "denote": false,
    "isBad": false,
    "isSSD": false,
    "isUSB": {},
    "loc": "DS216se",
    "model": "WD40EFRX-68WT0N0",
    "name": "Drive 1",
    "sAttr": {},
    "sConf": {},
    "sInfo": {},
    "sPredict": {},
    "serial": "WD-XXXXXXXXXXXX",
    "size": "4.00 TB",
    "time": 1594970075,
    "type": "internal",
    "vendor": "WDC"
}

2020.07.17 14:44:56 SYS: Unexpected change of "[sdb] Drive 2"
TimeStamp :
{
    "time": 1594988002
}
DiskInfo  :
{
    "denote": false,
    "isBad": false,
    "isSSD": false,
    "isUSB": {},
    "loc": "DS216se",
    "model": "WD40EFRX-68N32N0",
    "name": "Drive 2",
    "sAttr": {},
    "sConf": {},
    "sInfo": {},
    "sPredict": {},
    "serial": "WD-XXXXXXXXXXXX",
    "size": "4.00 TB",
    "time": 1594970075,
    "type": "internal",
    "vendor": "WDC"
}

 

[BigRonin]

... das sieht gut aus.

Die beiden Einträge:

2020.07.17 14:44:56 SYS: Unexpected change of "[sdb] Drive 2"

sind normal und lediglich informative. AvrLogger meldet nur, dass der Zeitstempel der einzelnen Festplatten nicht mit dem gespeicherten Zeitstempel übereinstimmt. Der Vergleich der Zeitstempel dient dazu, zu erkennen ob bzw. welche Festplatten (z.B. USB-Festplatte) hinzugekommen ist. Das eine Systemfestplatte sich im Betrieb ändert ist eher ungewöhnlich, deswegen diese Meldung ?

 

[BigRonin]

Ein bisschen was zu AvrLogger:

Ich habe AvrLogger so aufgebaut, dass möglichst wenige Systemressourcen benötigt werden. Die Einstellmöglichkeiten im Setup erlaubt es da einen individuellen Kompromiss einzugehen, zwischen der Genauigkeit der ermittelten Daten (Linien im Diagramm) und der Resourcenbelastung.

Wenn ich Wert auf eine möglichst niedrige Systembelastung lege, dann wähle ich kleinere Abfrageintervalle / kleiner Größe der Datenbank und seltenere Aktualisierung der Liniengrafik aus. Hat aber den Nachteil das kurze „Spitzen“ von einzelnen Werten nicht erfasst werden. Das muss jeder für sich entscheiden was er bevorzugt.

Zu dem schonenden Umgang mit den Systemressourcen zählt auch die Nutzung des SharedMemory. Häufig sich ändernde Daten / Dateien „können“ da abgelegt werden. Bei jedem „normalem“ Start / Stopp der DiskStation oder von AvrLogger, sorgt eine Routine dafür dass der Inhalt des SharedMemory gesichert bzw. geschrieben wird. Vorteil ist, die Belastung der Festplatte in der DiskStation wird reduziert, Nachteil ist bei einem unvorhergesehenen Stromausfall, Absturz der DS, geht der flüchtige Inhalt des SharedMemory verloren.

Mit entsprechender Konfiguration, liegt die CPU-Last von AvrLogger auf einer DS118, zwischen 0,1 und 0,3%. (top -p PID -d 10) Mit „aggressiveren“ Einstellungen geht das aber auch schon mal in Richtung 1%.

 

[gaspard]

Überzeugendes Konzept (soweit ich das beurteilen kann ).

Hab noch etwas weiter geguckt, und da ist noch ein Lurch in der Leitung.
Ich habe diverse Dienste/Pakete gestoppt und (nach Neu-Login, aber nicht Reboot), dann AvrLogger geöffnet und jetzt sieht die ssh-top komisch aus. Reaktionen sind sehr zäh (und öfter mal "Vorgang fehlgeschlagen…", anscheinend ein Timeout).

Wenn da immer neue Prozesse ins Log schreiben wollen, würde das erklären warum die Auslastung auf nahe 100% klettert, und die Festplatten ständig aktiv sind.

 

[BigRonin]

...hmmmmm ... ungewöhnlich, sehr ungewöhnlich ... das AvrLogger bis weilen 2x oder auch 3x auftaucht liegt an Unterprozessen die mal ausgeführt werden um Werte zu aktualisieren, oder die Grafik upzudaten. Aber so viele ... hab ich adhock keine Erklärung für. Hab ich in der Form auch noch nicht beobachtet.

Das wird für mich auch schwierig da einen Ansatz zu finden ... ich muss mal überlegen wie wir rausbekommen welcher Task von AvrLogger da immer nicht beendet wird. ?

 

[gaspard]

Falscher Zeileneinzug der einen Code-Block in eine Schleife verschiebt? (Bloß geraten.)