Log Analysis LogAnalysis - GUI zum betrachten und durchsuchen von /var/log

[framp]

... Das ist halt das Problem zwischen Erfinder und Anwender. Für mich ist das alles logisch, weil ich es genau so programmiert habe, wie ich mir das vorstelle. Das sich meine Vorstellungen und Gedankengänge nicht immer mit dem des gemeinen Anwenders decken liegt auf der Hand. Das ist auch der Grund, warum ich auf euer Feedback angewiesen bin. Nur so kommen wir irgendwann auf einen Nenner...

Das kenne ich. Solange man alleine seinen Kram benutzt ist alles OK denn man weiss wie es gedacht ist benutzt zu werden, man kennt die Randbedingungen die erfuellt sein muessen und tippt keine falschen Eingaben ein.

Sobald man dann anderen Benutzern seinen Kram zur Verfuegung stellt fangen die Probleme an: Die Benutzer benutzen falsche Eingaben, erfuellen irgendwelche Randbedingungen nicht, benutzen den Kram voellig anderes als es gedacht war. Ueblicherweise spart man sich ja bei seinen Tools den Aufwand Eingaben zu pruefen, Fehler richtig abzufangen und vernuenftige Fehlermeldungen zu schreiben. Es ist ein nicht zu unterschaetzender Aufwand Eingabe- und Konfigurationspruefungen sowie Info- und Fehlermeldungen einzubauen - kurzum sein Tool Foolproof zu machen

Zu Deiner Frage: Ich wuerde /.. einfach nicht anzeigen wenn man sich auf der /var/log Ebene befindet. Nur wenn man sich in einem Unterordner befindet.

Zu dem rekursiven Suchen was mir fehlt: Ich meinte damit ein Suchen in allen Logdateien ab /var/log, also das Aequivalent zu

grep  -R "someText" /var/log

Das dauert zwar u.U. etwas aber ist durchaus hilfreich wenn man nicht genau weiss wo eine Info in den Logs zu einem String steht.

 

[Tommes]

Solange man alleine seinen Kram benutzt ist alles OK ... Sobald man dann anderen Benutzern seinen Kram zur Verfuegung stellt fangen die Probleme an

Ich weis auch nicht, warum ich mich immer wieder darauf einlasse. Das Leben könnte so einfach sein ohne euch Benutzer

Ich habe das /.. jetzt mal entfernt, solang man sich im (Haupt-) Ordner /var/log befindet. Macht auf mich einen guten Eindruck und scheint sich tatsächlich positiv auf die Usability auszuwirken. Dann sag ich mal danke für den Hinweis und den Tipp!

Das rekursive Suchen funktionert bei mir aber. Habe hierzu innerhalb /var/log nach dem Namen -Tridgell- gesucht, welcher sich in der Datei /var/log/samba/log.smbd befindet. Und siehe da...



Zugegeben. Es funktionieren aktuell nur zusammenhängende Suchbegriffe. Als Beispiel würde die Suche nach -Andrew Tridgell- erstmal ins Leere laufen, da das Leerzeichen aktuell noch nicht interpretiert wird. Warum das so ist, kann ich dir grad noch nicht beantworten, aber ich werde auch dafür bestimmt eine Lösung finden. Bisher habe ich sowas noch nie gebraucht, desahlb ist es mir wohl auch noch nie aufgefallen. Aber ich kümmer mich....

Tommes

 

[Tommes]

Zugegeben. Es funktionieren aktuell nur zusammenhängende Suchbegriffe. Als Beispiel würde die Suche nach -Andrew Tridgell- erstmal ins Leere laufen, da das Leerzeichen aktuell noch nicht interpretiert wird. Warum das so ist, kann ich dir grad noch nicht beantworten, aber ich werde auch dafür bestimmt eine Lösung finden.

Lösung gefunden. Es kann jetzt nach beliebigen Zeichenfolgen inkl. Leerzeichen gesucht werden. Somit funktioniert z.B. jetzt auch die Suche nach -Andrew Tridgell- oder auch -Andrew Tridgell and the Samba Team-

Super. Dank euch konnte ich schon einige Dinge fixen und werde das zeitnah veröffentlichen. Vielleicht schon dieses WE.

Tommes

 

[framp]

... Das rekursive Suchen funktionert bei mir aber. Habe hierzu innerhalb /var/log nach dem Namen -Tridgell- gesucht, welcher sich in der Datei /var/log/samba/log.smbd befindet. Und siehe da...

Jetzt tut es bei mir. Ich denke ich dachte dass es nicht tut weil



Ich war im home Ordner /var/log, habe dann /var/log/samba links angeklicked aber das Fenster rechts sagt immer noch dass in /var/log gesucht wird. Ich habe dann nach was gesucht was in /var/log/syslog steht und ging davon aus dass gemaess der Beschreibung im rechten Fenster in /var/log rekursiv gesucht wird. Aber in Wirklichkeit eben nicht. Wenn ich da suche wird rekursiv in /var/log/samba gesucht

 

[Tommes]

Hat dir schonmal jemand gesagt, das du echt anstrengend bist?

Ich kümmer mich. Wäre doch gelacht, wenn ich diesen framp nicht zufrieden gestellt bekommen würde.

Ach ja... und danke für deine wertvollen Hinweise. Wirklich beeindruckend, was dir alles so auffällt.

Und BTW: Ich habe gleich noch eine weitere Option gebastelt. Man kann jetzt in den Suchergebnissen den Ordner anklicken, wo die Information gefunden wurde und wird dann direkt in die Datei verlinkt.

 

[DKeppi]

Tolle Arbeit Tommes...werde es auch mal testen wenn deine Anpassungen im Spk sind

 

[BigRonin]

Hallo Tommes ... ich hab auch ein bischen mit deinem "echt klasse" Tool rumgespielt

Mir ist da was Komische aufgefallen ... manchmal wird in der Ausgabe Zeilenumbrüche ausgegeben wo keine sind und gelegentlich wird der "Suchbegriff" unterschlagen ... soll heißen, die Zeile mit dem Suchbegriff wird richtig gefunden aber der Suchbegriff selber in der Zeile gelöscht.

Dein Tool liefert z.B.:

/var/log/synopkg.log
2020/04/15 15:00:39 begin to start version 2.0.2-004
2020/04/15 15:00:39 start AvrLogger 2.0.2-004 Begin pre-load apparmor
2020/04/15 15:00:39 start AvrLogger 2.0.2-004 End pre-load apparmor ret=[0]
2020/04/15 15:00:39 start AvrLogger 2.0.2-004 Begin start-stop-status start
2020/04/15 15:00:39 start AvrLogger 2.0.2-004 End start-stop-status start ret=[0]
2020/04/15 15:00:40 start version 2.0.2-004 successfully, result 0

Richtig wäre aber :

/var/log/synopkg.log
2020/04/15 15:00:39 start AvrLogger: begin to start version 2.0.2-004
2020/04/15 15:00:39 start AvrLogger 2.0.2-004 Begin pre-load apparmor
2020/04/15 15:00:39 start AvrLogger 2.0.2-004 End pre-load apparmor ret=[0]
2020/04/15 15:00:39 start AvrLogger 2.0.2-004 Begin start-stop-status start
2020/04/15 15:00:39 start AvrLogger 2.0.2-004 End start-stop-status start ret=[0]
2020/04/15 15:00:40 start AvrLogger: start version 2.0.2-004 successfully, result 0

Nachtrag:

Ich habe ein Docker-Log File da klappt die Suche mit Uhrzeit nicht

Ohne Uhrzeit, nur nach Datum :

[2018-05-17 09:58:01] [error] handle_read_frame error: websocketpp.transport:7 (End of File)
[2018-05-17 09:58:01] [warning] void terminal_server_t::on_close(websocketpp::connection_hdl)
[2018-05-17 09:59:41] [info] void tty_t::on_read(const boost::system::error_code&, size_t) eof
[2018-05-17 09:59:41] [warning] void terminal_server_t::on_tty_close(websocketpp::connection_hdl, std::shared_ptr, tty_t::close_reason) 1501
[2018-05-17 09:59:41] [warning] void terminal_server_t::delete_tty(const string&, const string&) Geekbench-4.1 Geekbench-4.1
[2018-05-17 09:59:41] [warning] void terminal_server_t::on_close(websocketpp::connection_hdl)
[2018-05-17 09:59:41] [info] handle_read_frame error: websocketpp.transport:10 (A transport action was requested after shutdown)
[2018-05-17 09:59:41] [warning] void terminal_server_t::on_close(websocketpp::connection_hdl)
[2018-05-17 10:03:18] [info] void tty_t::on_read(const boost::system::error_code&, size_t) eof
[2018-05-17 10:03:18] [warning] void terminal_server_t::on_tty_close(websocketpp::connection_hdl, std::shared_ptr, tty_t::close_reason) 1501
[2018-05-17 10:03:18] [warning] void terminal_server_t::delete_tty(const string&, const string&) Geekbench-4.1 Geekbench-4.1
[2018-05-17 10:03:18] [warning] void terminal_server_t::on_close(websocketpp::connection_hdl)
[2018-05-17 10:03:18] [info] handle_read_frame error: websocketpp.transport:10 (A transport action was requested after shutdown)
[2018-05-17 10:03:19] [warning] void terminal_server_t::on_close(websocketpp::connection_hdl)
[2018-05-17 10:15:09] [error] handle_read_frame error: websocketpp.transport:7 (End of File)
[2018-05-17 10:15:09] [warning] void terminal_server_t::on_close(websocketpp::connection_hdl)
[2018-05-17 10:17:54] [info] void tty_t::on_read(const boost::system::error_code&, size_t) eof
[2018-05-17 10:17:54] [warning] void terminal_server_t::on_tty_close(websocketpp::connection_hdl, std::shared_ptr, tty_t::close_reason) 1501
[2018-05-17 10:17:54] [warning] void terminal_server_t::delete_tty(const string&, const string&) Geekbench-4.1 Geekbench-4.1
[2018-05-17 10:17:54] [warning] void terminal_server_t::on_close(websocketpp::connection_hdl)
[2018-05-17 10:17:54] [info] handle_read_frame error: websocketpp.transport:10 (A transport action was requested after shutdown)
[2018-05-17 10:17:58] [warning] void terminal_server_t::on_close(websocketpp::connection_hdl)

Mit Datum UND Uhrzeit bleibt die Ausgabe leer.

Gruß, BigRonin

 

[Tommes]

Hey BigRonin

Erstmal vielen Dank für den Hinweis. Ich denke, ich weiß auch schon woran es liegt, ich weiß nur noch nicht wie genau ich das gelöst bekomme. Ich werde mir das morgen mal in Ruhe anschauen.

Tommes

 

[BigRonin]

Mir ist noch etwas aufgefallen:



Mir scheint es, als ob "Leerzeichen" im Datei-Namen Probleme machen.



Und die PHP-Log's erscheinen erst garnicht.

 

[Tommes]

Vielen Dank. Ich werde auch das prüfen und versuchen zu korrigieren.

Ich habe heut morgen bereits ein wenig was gemacht und konnte das Problem mir Datum und/oder Uhrzeit augenscheinlich beheben. Nur das das Suchergebnis teilweise Begriffe verschluckt, konnte ich bei mir nicht nachstellen. Aber ich teste weiter.

Gleich wollte ich mich mal um die rekursive Suche, die framp angesprochen hat, kümmern. Wenn alles gut läuft, dann werde ich hoffentlich heute Abend noch ein Update nachschieben. Mal schauen, ob‘s klappt

 

[BigRonin]

Wenn du Beispiel-LOG's brauchts ... kann ich dir gerne zukommen lassen.

 

[Tommes]

Geschafft... Ihr könnt ihr euch auf folgende Änderungen freuen...


LogAnalysis Version 0.2 Release Notes vom 19.04.2020

• Das responsive Design wurde auf eine maximale Breite von 992px begrenzt um das Layout bei größeren Auflösungen nicht zu sehr auseinander zu ziehen.
• Aus Gründen der Usability wurde im Verzeichnisbaum das Zeichen /.. entfernt, solange man sich im eigentlichen Ordner /var/log befindet.
• Es wurden nur Suchbegriffe gefunden, die keine Leerzeichen enthielten, also nur aus einem Wort bestanden. Fehler wurde behoben.
• Dateinamen die Leerzeichen enthalten, wurden nicht angezeigt bzw. verarbeitet. Fehler wurde behoben.
• Die Suche nach Datum und/oder Uhrzeit wurde nicht korrekt verarbeitet. Fehler sollte behoben sein.
• Bei den dateiübergreifenden Suchergebnissen kann jetzt über den angezeigten Dateipfad in die entsprechende Datei gewechselt werden.
• Rekusives Suchen innerhalb des Verzeichnisbaumes wurde hinzugefügt. Somit wird nur der ausgewählte Ordner bei der Suche herangezogen.
• PHP-Logdateien werden nun angezeigt.
• Weitere Codeoptimierungen vorgenommen. Vielen Dank an BigRonin und PsychoHH

Schaut mal, ob alles passt...

Tommes

 

[peterhoffmann]

Ich zitiere mal aus meinen eigenen "Release Notes"... räusper...

Ähm... hmm... ja... oh... ups..., genau in dem Moment muss der Kater vor dem Bildschirm gesessen und diesen wichtigen Teil abgedeckt haben. Das macht der immer so. Immer wenn ich was übersehen habe, war es der Kater. Und der widerspricht auch nicht. Der muss der Schuldige sein...

Ich arbeite hier aber nur auf einem 15,6 Zoll Laptop-Display, von daher sind mir große Bildschirme ein Fremdwort

Ich habe hier drei Bildschirme stehen. Und die sind mir sogar manchmal zu wenig. Wenn ich mal unterwegs auf dem Lappi was machen muss, fühlt sich das für mich an, wie Spielfilm durchs Schlüsselloch gucken.

Aber auch hier kann ich dank des bootstrap Frameworks mit einer Änderung die Auflösung für die GUI begrenzen, damit diese nicht ins unermässliche gezogen wird.

Wie ich in den neuen Releasenotes gelesen habe (der Kater liegt im Körbchen!), hast du die Auflösung begrenzt. Ich schau mir das mal an.

Wie genau wäschst du denn speziell deinen Log-Ordner?

Alle Dateien á la *.log werden bei mir so geleert:

mapfile -t my_array < <( find /var/log -name "*.log" )
for i in ${my_array[@]}; do
:> $i
done

Dann habe ich noch eine kleine Anzahl (>10) von Dateien, die am Ende kein .log haben und händisch einen Einzeiler bekommen haben:

:> /var/log/abc.xyz

Andere Möglichkeit wäre einfach komplett alle Dateien unabhängig von der Endung in /var/log zu leeren, aber das fand ich zu hart (genauso wie rm).

so könnte ich ein nächstes SPK nennen

Ich trete dir alle Nutzungsrechte an dem Namen ab.
Falls du damit über 10 Million Euro Gewinn erwirtschaftest, würde ich mich freuen, wenn du mir ein Auto spendierst.

 

[peterhoffmann]

Ich habe mal mit meinem bisher mageren Logs ein wenig rumgeschaut:

Fehler:
- Ausgabe ohne Zeilenumbrüche (leere Seite)

Workflow:
- unten einen Button um wieder hochzukommen
- leere Verzeichnisse kennzeichen (z.B. hellgraue statt dunkelgraue Schrift)
- Suchfunktion: zusätzl. Sternchenfunktion für Minuten (Anzeige der ganzen Stunde)

Features:
- Erklärung/Hilfe zu einzelnen Logs (überall vorhandene, z.B. syno*.log, scremd.log, syslog.log, kern.log, usw.)
- Funktion Leerung von einzelnen Logs
- Funktion Leerung aller Logs (*.log)

 

[TeXniXo]

Ja, die letzten 2 Features wären wirklich nett ...

Aber "Button nach oben" ist eh sicher sinnvoll, aber wäre evlt. auch einfacher, das Ganze sozusagen in "iframe" (anders weiß ich mich nicht auszudrücken ^^) zu setzen, also ergo das Log-Fenster eingebettet zu haben, sodass die linke Seitenleiste auch sichtbar bleibt, wenn man amEnde der Log-Datei angekommen ist?

 

[blinddark]

Ich habe jetzt noch mal ein wenig rumgetestet. Leider habe ich im Moment fast leere Logs, da gestern großer NAS-Reinewaschtag war und mein Sauberkeitsfimmelscript

Das klingt interessant. Was bereinigst du denn damit alles?

 

[blinddark]

Ich hab mir das Tool auch mal installiert und es macht einen guten Eindruck und ist sogar soweit mit ScreenReadern zu nutzen.
zwei Anregungen hätte ich noch zur besseren Bedienung mit ScreenReadern:
- eine Baumstruktur oder Liste für die Logs, um sie mit den Pfeiltasten auswählen zu können. Ich kann sie momentan nur mit Tab erreichen und da springt man schnell zu weit oder verliert den Überblick
- Genial wäre auch, wenn der Text aus den Logs in einem Nur-Lesen-Eingabefeld erscheint. So könnte man besser mit Hilfstechnologien damit arbeiten.

Dann noch eine Sache für die Allgemeinheit: Der Log Download wäre denke ich noch ganz nett.

Grüße und vielen Dank für das schöne Stück Software.

 

[TeXniXo]

Das klingt interessant. Was bereinigst du denn damit alles?

Hat er dort erklärt in Posting #33 (https://www.synology-forum.de/showt...en-von-var-log&p=865988&viewfull=1#post865988)^, dies nur zu deiner Info!

 

[Tommes]

Ähm... hmm... ja... oh... ups..., genau in dem Moment muss der Kater vor dem Bildschirm gesessen und diesen wichtigen Teil abgedeckt haben.

Da hat mal schon drei GROSSE Bildschirme und hat trotzdem nur ein eingeschränktes Sichtfeld? Oder der Kater ist nach allens Seiten sooooo Groß (dick wollte ich jetzt nicht sagen), das selbst drei große Bildschirme dagegen nicht anstinken können. Aber gut... wir schweifen ab.

Alle Dateien á la *.log werden bei mir so geleert:...

Danke für den Codeschnipsel, ich werde mal schauen, was ich damit anstelle.

Falls du damit über 10 Million Euro Gewinn erwirtschaftest, würde ich mich freuen, wenn du mir ein Auto spendierst.

Mir würden vorher wohl eher 10 Millionen graue Haare wachsen bis ich mit euren Wünschen und Vorstellungen durch bin. Kannst gerne ein paar ab haben und dir davon ein Auto stricken. Alternative Materialien sind ja schwer im Kommen.

Fehler:
- Ausgabe ohne Zeilenumbrüche (leere Seite)

Gecheckt. Fehler gefunden. Der Fehler tritt auch nur auf, wenn du dir den "normalen" Dateiinhalt anschauen möchtest, nicht aber wenn du dir die Suchergebnisse anzeigen lassen möchtest. Ich habe bei einem der beiden Links vergessen, einen zwischenzeitlich veränderten Variablennamen zu übernehmen. Shit happens.

Workflow:
- unten einen Button um wieder hochzukommen
- leere Verzeichnisse kennzeichen (z.B. hellgraue statt dunkelgraue Schrift)
- Suchfunktion: zusätzl. Sternchenfunktion für Minuten (Anzeige der ganzen Stunde)

-Das mit den Button wird wohl kommen. Macht ja auch Sinn. Alternativ halt eine art iFrame oder ein Textarea-Feld indem mal dann separat scrollen kann. iFrames sind ja eigentlich bäh.
-Leere Verzeichnisse kennzeichnen sollte machbar sein, werde ich mir anschauen.
-Sternchenfunktion für die Minuten ist auch ein guter Punkt, den ich sicherlich einfügen werde. Alternativ könnte ich auch alle 60 Minuten einzeln aufführen? Wäre euch das lieber? Ich denke aber die 10 Minuten Schritte machen schon mehr Sinn.

Features:
- Erklärung/Hilfe zu einzelnen Logs (überall vorhandene, z.B. syno*.log, scremd.log, syslog.log, kern.log, usw.)
- Funktion Leerung von einzelnen Logs
- Funktion Leerung aller Logs (*.log)

Also das mit dem Leeren der Log hatten wir ja schon angesprochen. Von der Erklärung/Hilfe, wofür die einzelnen Datein da sind, würde ich aktuell aber lieber Abstand halten. Auch ist das ein nicht zu unterschätzender Aufwand für mich perfektionisten. Wer sich da einbringen möchte, darf das gerne tun. IC hfür meinen Teil schreib das mal ganz unten auf mein "Liste der Dinge, die ich noch erledigen wollte".

Aber "Button nach oben" ist eh sicher sinnvoll, aber wäre evlt. auch einfacher, das Ganze sozusagen in "iframe"...

Wie gesagt... iFrames sind eigentlich bäh. Aber ich schau mal, was sich da machen lässt. Es gibt da auf jeden Fall Möglichkeiten.

Ich hab mir das Tool auch mal installiert und es macht einen guten Eindruck und ist sogar soweit mit ScreenReadern zu nutzen.
- eine Baumstruktur oder Liste für die Logs, um sie mit den Pfeiltasten auswählen zu können.
- Genial wäre auch, wenn der Text aus den Logs in einem Nur-Lesen-Eingabefeld erscheint.

Dann noch eine Sache für die Allgemeinheit: Der Log Download wäre denke ich noch ganz nett.

Erstmal freut es mich zu hören, das du einigermaßen gut klar kommst mit der Lesbarkeit der App. Ich will jetzt zwar noch nichts versprechen, aber wenn ich mal eine ruhige Minute habe, dann versuche ich mal, deinen Vorschlägen und Wünschen nach zu kommen. Ich kann dir aber noch nichts versprechen, da es für mich immer etwas schwierig ist, solchen Anforderungen gerecht zu werden, da das nicht wirklich mein Metier ist. Aber ich werde es mir nicht nehmen lassen, es zu versuchen... gib mir aber bitte etwas Zeit dafür.

Das mit dem Log-Download ist da schon schwieriger. Denn aus der Web-GUI heraus habe ich keinen Zugriff auf die Dateien direkt. Ich kann diese also nicht einfach verlinken und zum Download anbieten. Ich müsste dafür eine aktuelle Kopie (von mir aus mit rsync) in den SPK Ordner schieben um diese im Anschluss downloaden zu können. Das macht in meinen Augen aber wenig Sinn.
Und wer sich schon mal SSHConfig von mir angeschaut hat, wird feststellen, das es dort genauso ist. Um die RSA Dateien downloaden zu können, muss ich diese vorher in den SPK Ordner kopieren. Nicht toll, aber mir ist sonst kein anderer Weg bekannt.

Tommes

 

[synfor]

Da hat mal schon drei GROSSE Bildschirme und hat trotzdem nur ein eingeschränktes Sichtfeld? Oder der Kater ist nach allens Seiten sooooo Groß (dick wollte ich jetzt nicht sagen), das selbst drei große Bildschirme dagegen nicht anstinken können. Aber gut... wir schweifen ab.

Der Kater muss nicht unbedingt sehr groß sein, um einen relevanten Teil eines der 3 Bildschirme zu verdecken. Außerdem, vielleicht ist der Kater ja auch gar keine Hauskatze?