Log Analysis LogAnalysis - GUI zum betrachten und durchsuchen von /var/log

[Tommes]

LogAnalysis​

GUI zum betrachten und durchsuchen von /var/log Einträgen​

Das dem DSM zugrunde liegende Linux-System protokolliert in sogenannten Protokoll- oder auch Logdateien (engl. logfiles) sämtliche Ereignisse, Probleme und Fehler des Systems sowie laufender Dienste. Abgelegt werden diese Informationen hierbei in unterschiedlichen Textdateien, welche sich in der Regel im Ordner /var/log sowie angeschlossenen Unterordnern befinden. Das Betrachten dieser Textdateien erfolgt normalerweise in einem beliebigen Editor, welcher über das Terminal ausgeführt wird. Innerhalb des Synology DiskStation Managers (DSM) können diese Dateien nun komfortabel über die GUI von LogAnalysis betrachtet und durchsucht werden.

Systemvoraussetzungen​

LogAnalysis wurde für die Verwendung auf Synology NAS Systemen entwickelt die das Betriebsystem DiskStation Manager 6 oder höher verwenden. Dabei ist zu beachten, das für LogAnalysis für DSM 6 und LogAnalysis für DSM 7 zwei unterschiedliche Pakete auf unterschiedlichen Plattformen zum Download angeboten werden, wobei die Versorgung durch Updates von LogAnalysis für DSM 6 mittlerweile eingestellt wurde.

Installationshinweise​

• DSM 6 (Die Versorgung durch Updates für LogAnalysis für DSM 6 wurde mittlerweile eingestellt)
  LogAnalysis kann in der jeweils aktuellsten Version über die alternative Paketquelle - Community Package Hub - https://www.cphub.net/?p=loganalysis heruntergeladen und im Anschluss über das DSM Paket-Zentrum manuell installiert werden.
  
  Weiterhin kann LogAnalysis auch direkt über das DSM Paket-Zentrum als Installationspaket, sowie für die Bereitstellung zukünftiger Updates zur Verfügung gestellt werden. Hierfür muß im Vorfeld https://www.cphub.net dem Paket-Zentrum als "alternative Paketquelle" hinzugefügt werden.
  
  
• DSM 7
  Lade dir die jeweils aktuellste Version von LogAnalysis aus meinem GitHub Repository herunter. Öffne anschließend im DiskStation Manager (DSM) das Paket-Zentrum, wähle oben rechts die Schaltfläche "Manuelle Installation" aus und folge dem Assistenten, um das neue Paket bzw. die entsprechende .spk-Datei hochzuladen und zu installieren. Dieser Vorgang ist sowohl für eine Erstinstallation als auch für die Durchführung eines Updates identisch.
  
  Nach dem ersten Start von LogAnalysis wird die lokal installierte Version mit der auf GitHub verfügbaren Version verglichen. Steht ein Update zur Verfügung, wirst du innerhalb LogAnalysis darüber informiert und es wird ein entsprechender Link zu dem entsprechenden Release eingeblendet. Der Download sowie der anschließende Update-Vorgang verläuft wiederum analog zur oben beschriebenen Erstinstallation.
  
  Weitere, detailliertere Hinweise zur Installation und Konfiguration findest du in der README.md meines GitHub Repository unter dem Punkt Installationshinweise. Innerhalb LogAnalysis werden dir zudem alle nötigen sowie empfohlenen Konfigurationseinstellungen auf der Startseite angezeigt und erklärt, wie du diese aktivieren oder ggfl. auch deaktivieren kannst. Hier nochmal die zwei wichtigsten Links für dich…

LogAnalysis GitHub Repository​

LogAnalysis Download Link​

Versionsgeschichte​

Details zur Versionsgeschichte findest du in der Datei CHANGELOG meines GitHub Repository

Lizenz​

LogAnalysis unterliegt der GNU GENERAL PUBLIC LICENCE Version 3 von 29. Juni 2007 und wird somit lizenzkostenfrei angeboten. Eine Haftung (auch bei möglichen Datenverlusten durch die Software) wird grundsätzlich ausgeschlossen. Hierzu ein Auszug aus der GPL3 (ins deutsche übersetzt)...

Dieses Programm ist freie Software. Sie können es unter den Bedingungen der GNU General Public License, wie von der Free Software Foundation veröffentlicht, weitergeben und/oder modifizieren, entweder gemäß Version 3 der Lizenz oder (nach Ihrer Option) jeder späteren Version.

Die Veröffentlichung dieses Programms erfolgt in der Hoffnung, daß es Ihnen von Nutzen sein wird, aber OHNE IRGENDEINE GARANTIE, sogar ohne die implizite Garantie der MARKTREIFE oder der VERWENDBARKEIT FÜR EINEN BESTIMMTEN ZWECK.

Weitere Einzelheiten finden Sie in der GNU General Public License. Sie sollten eine Kopie der GNU General Public License zusammen mit diesem Programm erhalten haben. Falls nicht, siehe http://www.gnu.org/licenses/

Tommes

 

[Tommes]

LogAnalysis Version 0.1 Release Notes vom 17.04.2020

Bei dieser App handelt es sich um eine Neuentwicklung und trägt absichtlich eine niedrige Versionsnummer. Als Beta würde ich sie jedoch nicht mehr deklarieren wollen, da ich bereits ausgiebige Tests durchgeführt habe. Nichts desto trotz kann es hier und da zu unbeabsichtigten Fehlfunktionen und damit verbunden, zu Datenverlust kommen. Daher sei hier nochmal erwähnt, das ihr das alles auf eure eigene Kappe macht und ich keine Verantwortung sowie Haftung für mögliche Schäden übernehme.

Was kann die App bereits

• Anzeigen und auswählen von Ordnern und Protokolldateien innerhalb /var/log über einen Verzeichnisbaum
• Betrachten von Protokolldateiinhalten, welche zuvor über den Verzeichnisbaum ausgewählt wurde
• Durchsuchen aller Protokolldateien innerhalb /var/log nach individuellen Suchbegriffen, eines bestimmten Datums und/oder einer bestimmten Uhrzeit
• Durchsuchen einer zuvor ausgewählten Protokolldatei nach individuellen Suchbegriffen, eines bestimmten Datums und/oder einer bestimmten Uhrzeit
• Das Betrachten von Protokolldateiinhalten sowie Suchergebnissen werden innerhalb der GUI wegen der besseren Lesbarkeit mit Zeilenumbrüchen ausgegeben
• Über ein auswählbares Popup-Fenster können die Suchergebnisse auch ohne Zeilenumbrüche und somit - originalgetreu - angezeigt werden.
• Alle Suchergebnisse können als Textdatei gespeichert werden

Die Grafische Benutzeroberfläche (GUI)

• Der Zugriff auf die Inhalte von LogAnalysis ist nur Benutzern aus der Gruppe der Administratoren gestattet.
• Die GUI ist für Mehrsprachigkeit ausgelegt und wird der Systemsprache des DSM angepasst. Aktuell sind die Sprachen Deutsch und Englisch implementiert.
• Der responsive, grafische Aufbau der Benutzeroberfläche basiert auf dem Bootstrap 4 Framework und unterliegt somit dem HTML 5 / CSS 3 Standard. Von einer Überprüfung der Validität nach dem W3C - Standard wurde aber abgesehen.
• Bis auf das LogAnalysis Logo und einiger weniger, auf bootstrap 4 basierender Grafiken, stammen sämtliche Grafikelemente (Icons) aus dem Portfolio der Google Material Design Icons. Hierbei werden sämtliche Komponenten lokal vorgehalten und nicht übers Internet nachgeladen.
• Die GUI ist des Weiteren auf die Verwendung von JavaScript sowie jQuery Elementen ausgelegt, wobei auch hier sämtliche Elemente lokal vorgehalten und nicht übers Internet nachgeladen werden.

Das im Hintergrund arbeitende System

• Die komplette Programmlogik beruht auf der jeweils aktuellen, im DSM implementierten BASH Version.
• JavaScript und jQuery Elemente unterstützen hierbei optional die Abläufe und die Verarbeitung der Datenströme.
• Implementierung einer GET/POST Request Engine um anfallende Formulardaten, Parameterübergaben und Seitenaufrufe zu verarbeiten, wobei sämtliche Formulardaten über die POST-Methode, an Links angegangene Variablen über die GET-Methode übertragen werden. Aus Gründen der Sicherheit werden alle übertragenen Variablen intern durch ein assoziatives Array maskiert bevor diese weiterverarbeitet werden.

Tommes

 

[geimist]

Der unbändige Tommes
Prima feine Sache - werde ich mir mal näher angucken.
Vielen Dank

 

[Yippie]

Da kann ich nur sagen: Danke! Das spart mir die Konsole für so manche Dinge.

Frage: bei großen Logdateien, wenn ich eine Weile nach unten scrolle, dann ist es ziehmlich umständlich wieder nach oben an den Anfang zu springen oder um im Baum die nächste Logdatei zu wählen. Ich habe mir dabei die komplette Datei anzeigen lassen und nicht darin gesucht.

Kann man da noch irgendwas hinzufügen, bswp. einen Button der nach dem Scrollvorgang eingeblendet wird um an den Anfang der Liste zu springen?

Michael

 

[framp]

Eins vorweg: Ich bin gewohnt Logs auf der Commandline zu durchsuchen. Trotzdem habe ich mal Dein Tool installiert.

Sieht gut aus fuer jemanden der lieber per UI Logs durchfloeht.

Folgendes ist mir aufgefallen:

1) Wenn ich auf irgendwelche Logs wechsle dauert das bei mir ca 3 Sekunden. Das finde ich etwas lang.
2) Eine rekursive Suche waere vermutlich ganz sinnvoll.

 

[peterhoffmann]

Tommes, du bist echt Spitze!

Ich habe das Teilchen sofort installiert und wurschtel gerade rum.

Als Konsolenjunkie geht mir das Geklicke nicht so leicht von der Hand, aber ich sehe natürlich den Mehrwert.

---

Nachtrag: Die 1 bis 3 Gedenksekunden, die Framp im Post über mir moniert, habe ich auch.

 

[Tommes]

@Yippie
Möglichkeiten gibt es da bestimmt, weshalb ich mir da mal was überlegen werde. Alternativ kannst du die App in einem neuen Tab bzw. Browserfenster öffnen, indem du ein Rechtsklick auf das App-Symbol ausführst und dann im Kontextmenü „In neuem Fenster öffnen“ auswählst. So arbeite ich oft mir meinen eigenen Tools.

@framp
Ich werde schauen, ob Ich den Gedenksekunden noch ein wenig Luft in die Schuhe pumpen kann, damit ihr vor lauter Langeweile nicht vor euren Monitoren wegnickt

Rekursives suchen sollte eigentlich funktionieren? Oder doch nicht? Muss ich mir anschauen. Habe grad nur das Tablet zur Hand.

@peterhoffmann
Naja, der Mehrwert ist ja in erster Linie für Leute ohne Konsolenkenntnisse gedacht. Dieses Tool ist aus einer Laune heraus entstanden, um auf die Schnelle zu überprüfen, ob meine SPK‘s (und die, die ich mit PsychoHH zusammen konstruiert habe) sauber laufen und keine ungewollten Protokolleinträge erzeugen. Das Tool ist also bei weitem noch nicht perfekt, aber danke für deinen fetten Schulterklopfer von wegen, ich sei spitze. Sowas hört man natürlich gerne, auch wenn ich mir noch nicht wirklich sicher bin, ob das Tool auch hält was es verspricht. Wir werden es bald wissen.

Tommes

 

[framp]

...
Rekursives suchen sollte eigentlich funktionieren? Oder doch nicht? Muss ich mir anschauen. Habe grad nur das Tablet zur Hand.

Das kann ich leider nicht mehr verifizieren da der /.. Link um aus einem Unterverzeichnis wieder aufzusteigen nicht funktioniert Die Links in Unterverzeichnisse funktionieren ... (Siehe Screenshot)

 

[Tommes]

Ähm... bei mir funktioniert das aber. Ich kann in den Ordner /unstart oder /samba wechseln und anschließend über /.. auch wieder zurück. Komisch, das das bei dir nicht geht. Öffne die App bitte mal in einem neuen Browserfenster und fahre mit der Mouse mal über den Link /.. wenn du im Unterordner /upstart bist. Was wird dir für ein Link angezeigt?

 

[framp]

Tut mir leid aber ich komme aus meinem Unterordner /var/log nicht mehr raus. Ich habe ein private Window im Chrome geoeffnet - aber trotzdem bekomme ich keinen Link bei /.. angeboten

 

[Tommes]

Aus dem Unterordner /var/log kommst du auch nicht raus. Das Tool sucht und zeigt Dinge an, die sich INNERHALB von /var/log befinden, nicht aber unter /var oder im Wurzelverzeichnis. Das wäre zwar theoretisch möglich, jedoch beschränkt sich dieses Tool einzig und allein auf den Ordner /var/log sowie entsprechenden Unterordnern innerhalb von /var/log. Deshalb funktioniert hier auch der Link nicht, weil da kein Link ist.

 

[RichardB]

Habe es ebenfalls installiert und WOW!

Ich gebe zu, ich bin kein Konsolenjunkie. Und daher erleichtert es allfällige Suchen in Logs ungemein. Die Gedenksekunden stören mich gar nicht (vielleicht weil ich mich noch an Zeiten erinnern kann, wo am Bildschirm "Lade" zu sehen war und man sich getrost einen Kaffee machen konnte, ohne etwas zu verpassen).
Die rekursive Suche geht bei mir (Firefox). Eventuell ein Browserproblem?

Edit: Hat sich durch die Erklärung in #11 erledigt.

 

[framp]

My fault. Es macht aber vielleicht Sinn dann aus usability Gesichtspunkten ein Popup darauf hinzuweisen zu lassen dass man oben angekommen ist. Wenn es einen Verzeichnisbaumnavigator gibt ist man als Benutzer schon geneigt ueberall hinzu navigieren. Normalerweise ist erst bei / Schluss, nicht bei /var/log.

 

[Tommes]

Das ist halt das Problem zwischen Erfinder und Anwender. Für mich ist das alles logisch, weil ich es genau so programmiert habe, wie ich mir das vorstelle. Das sich meine Vorstellungen und Gedankengänge nicht immer mit dem des gemeinen Anwenders decken liegt auf der Hand. Das ist auch der Grund, warum ich auf euer Feedback angewiesen bin. Nur so kommen wir irgendwann auf einen Nenner.

Von daher... danke für dein Feedback, ich werde schauen, wie ich es besser bzw. eindeutiger darstellen kann.

Tommes

 

[RichardB]

Ja und der Text möge sein: framp, dies ist das Ende des Universums. Weiter geht es nicht.
@Tommes:
Habe es jetzt auch auf den beiden anderen Synos installiert. Wirklich ein tolles Tool. Vielen Dank nochmals.
Eine Frage noch: Welche Daten könnten denn ggf. verloren gehen? Muss ich damit rechnen, dass alle *.hbk Dateien weg sind, wenn ich ein Log auf der 418play auslese?

 

[Tommes]

Das mit dem möglichen Datenverlust dient erstmal nur meiner eigenen Absicherung und soll euch daran erinnern, das ihr das alles auf eure eigene Kappe installiert und bedient, so wie es auch in der GPL geschrieben steht. Denn nur weil ich ein SPK erstellen kann, heißt das ja noch lange nicht, das das Ergebnis anstandslos läuft. Es gibt so viele Dinge die passieren können, die man vielleicht nicht beachtet hat, oder einfach nur vergessen hat, einen Codeschnipsel auszukommenentieren, den man für Analysezwecke mal eben schnell ins Script gehauen hat. Bei einem anderen SPK von mir hatte ich z.B. vergessen, meinen eigenen RSA-Key vor der Veröffentlichung zu entfernen (danke nochmal an Matthieu für den Hinweis).

Aber... innerhalb LogAnalysis wird nur lesend auf die Logfiles zugegriffen und alles was nicht Logfile ist, wird auch nicht angezeigt, so z.B. komprimierte und somit gepackte Logfiles, die sich nicht als Textdatei anzeigen lassen. Einzig für das zusammentragen des Suchergebnises wird eine Datei Namens result.txt innerhalb des SPK dynamisch angelegt und such wieder gelöscht bzw. überschrieben. Das ist bisher der einzige Schreibzugriff innerhalb dieses SPKs, von systeminternen Prozessen mal abgesehen. Von daher sollte hier nichts passieren.

Tommes

 

[RichardB]

Das war mir eh klar. Ich kann mich nur nicht erinnern, dass Du das schon einmal so explizit gesagt hast.
cphub und insbesondere Tommes, psychohh, BigRonin und geimist gelten sowieso als vertrauenswürdige Quellen, die ich auch auf der 218+ installiere (im Gegensatz zu DSM 6.2.3-25423. Sorry das musste jetzt sein)

 

[peterhoffmann]

Ich habe jetzt noch mal ein wenig rumgetestet. Leider habe ich im Moment fast leere Logs, da gestern großer NAS-Reinewaschtag war und mein Sauberkeitsfimmelscript dabei u.a. alle Logs leert. In einer Woche sehen die Logs wieder prallgefüllt aus, dann werde ich noch mal einen Härtetest mit der Suchfunktion machen.

Eins ist mir aufgefallen:
Wenn man das Fenster vom Analysetool innerhalb vom DSM aufgrund der Übersichtlichkeit maximiert, gleichzeitig einen recht großen Bildschirm hat, rücken im linken Feld Dateiname und Größenangabe so weit auseinander, dass die optische Zuordnung schwierig wird. Wenn beim Hovern z.B. die Zeile vom Dateinamen bis zur Dateigröße hellgrau wird, könnte das besser ausschauen.
Aber das ist Jammern auf aller höchstem Niveau. Falls nicht, kann man damit problemlos leben. Es ist mir halt nur ins Auge gesprungen.

Wo gibt es eigentlich dieses schöne HTML-Template? Das mit den Kästen sieht äußerst übersichtlich aus.

 

[Tommes]

@framp
Hab nochmal eine Nacht drüber geschlafen und hab da mal eine Frage an dich.
Das Zeichen / bildet ja das Wurzelverzeichnis ab, klar. Da ich mich standardmäßig jedoch im Ordner /var/log befinde, würde mir ein / ja suggerieren, das ich bereits im Wurzelverzeichnis bin. Daher habe ich extra /.. als Marker ausgewählt, um diesen Eindruck zu unterbinden. Als weiteres wird im Kopfteil auch der aktuelle Pfad, indem ich mich befinde, angezeigt, daher ist dieses Vorgehen bzw. Verhalten für mich erstmal logisch. Daher die Frage... wie würdest du es machen? Sollte ich den im Kopfteil angezeigten Pfad dort plazieren, wo sich aktuell das /.. befindet, oder sollte ich das /.. lieber komplett entfernen, befindet man sich im Ordner /var/log ? Oder hast du noch weitere Ideen? Das mit dem Popup halte ich für weniger gut, da dieses auch nicht direkt ins Auge fällt, sondern erst, wenn man mit der Maus drüber fährt. Und wenn man aktuell mit der Maus über das /.. fährt und der Mauszeiger wechselt nicht zu dem Zeigefinger, dann ist für mich auch logisch, das da kein Link ist. Also... wie stellst du dir das vor bzw. wie würdest du das lösen? Vorschläge bitte?

@RichardB
Hui jui jui... vertrauenswürdig ... jetzt hört mal auf damit, ich werde ja schon ganz rot. Aber das mit dem "explizit gesagt" ist schon so, das wir (oder ich) immer auf die GPL verwiesen haben, nur leider liest sich die ja nicht wirlich jemand durch. Selbst dann nicht, wenn du während der Installation eines unserer (meiner) SPK's den Haken bei "ich habe die GPL gelesen und akzeptiert". Und genau aus diesem Grunde wurde von uns seit eh und je darauf hingewiesen, das wir u.a. keine Verantwortung bei einen möglichen Datenverlust übernehmen. Bei meinen beiden SPK's LogAnalysis und SSHConfig mag das noch übertrieben wirken, aber bei Ultimate Backup spielen wir mit euren Daten. Und wenn dabei etwas schief geht und ihr dann wirklich einen Datenverlusst erleidet, dann möchte ich mir garnicht ausmalen, welche Nettigkeiten man uns dann zuwerfen würde. Geschweige denn von irgendwelchen rechtlichen Mitteln.

@peterhoffmann
Ich zitiere mal aus meinen eigenen "Release Notes"... räusper...

Der responsive, grafische Aufbau der Benutzeroberfläche basiert auf dem Bootstrap 4 Framework

Bootstrap, in der Version 4 wurde ursprünglich von den Machern von Twitter ins Leben gerufen um eine Standardisierung für Webinhalte zu etablieren. Boostrap ist also kein einfaches Template, sondern ein ausgewachsenes Framework. Hier mal der Link zum bootstrap Framework https://getbootstrap.com/docs/4.0/getting-started/introduction/

Bezüglich der Auflösung. Du warst ja schon immer ein Freund des responsive Designs, richtig? Ich ebenfalls und daher lag es nahe, das ich das in den SPK's einbaue. Ich arbeite hier aber nur auf einem 15,6 Zoll Laptop-Display, von daher sind mir große Bildschirme ein Fremdwort . Aber auch hier kann ich dank des bootstrap Frameworks mit einer Änderung die Auflösung für die GUI begrenzen, damit diese nicht ins unermässliche gezogen wird. Fallsdich interessiert wie das geht, das steht z.B. hier...

Tommes

 

[Tommes]

Leider habe ich im Moment fast leere Logs, da gestern großer NAS-Reinewaschtag war und mein Sauberkeitsfimmelscript dabei u.a. alle Logs leert.

Ich überlege grade, ob das nicht eine sinnvolle Option bzw. Erweiterung für LogAnalysis wäre. Wie genau wäschst du denn speziell deinen Log-Ordner? Einfach ein rm drüber gejagt? Wohl kaum, oder? Vielleicht magst du mir ja mal den passenden Auszug aus deinem Sauberkeitsfimmelscript (toller Name übrigens... so könnte ich ein nächstes SPK nennen... das Sauberkeitsfimmel-SPK) zukommen lassen, gerne auch per PN, falls du das hier nicht öffentlich preis geben magst

Tommes