HomeLab

[plang.pl]

Ich hab heute noch mal etwas gebastelt. Vor allem am NGINX Reverse Proxy.
Dieser läuft nun mit Anbindung an eine mariadb.
Gründe:
-die Performance, vor allem beim Bearbeiten von Einträgen, war nicht mehr sonderlich gut -> hat sich stark gebessert
-es kam bereits mehrmals vor, dass das Zertifikat "nicht mehr richtig" zugewiesen war. Somit musste ich jeden einzelnen Eintrag einmal editieren und wieder speichern. -> nun werde ich analysieren, wie die Datenbankstruktur aufgebaut ist. Dann baue ich mir einen SQL-Befehl, der für jeden Eintrag das Zertifikat neu setzt. Das könnte mir vor allem zugutekommen, falls das bei der Erneuerung des Zertifikats wieder auftritt.
Erkenntnisse der Geschichte:
-beim Umzug des Containers wird das Zertifikat in der neuen Instanz zwar angezeigt und scheint auch korrekt zugeordnet. Dennoch kommt keine Verbindung zustande. Wenn ich mir dann das Zertifikat ansehe, ist es ungültig. Natürlich habe ich die gemounteten Folder mit umgezogen und den neuen Container exakt so angelegt wie den alten. Nun habe ich das nochmal mit der SQL-Anbindung getestet. Auch da wird beim Umzug alles 1:1 übernommen, außer das Zertifikat. Ist wohl ein Sicherheits-Dingenskirchen
-die Zertifikatsanforderung via DNS-Challenge bei netcup klappt nun auch mit DNSSleep von 600sec. Tiefer bin ich nicht gegangen. Vorher hatte dies ja immer nur mit 1800sec funktioniert. Hat aber wohl nix mit der SQL-Anbindung zu tun.

Die Firewall auf dem Proxmox Host läuft mittlerweile auch. Die finde ich richtig gut. Ist umfangreich aber dennoch übersichtlich und intuitiv. Zum Beispiel kann meine VM mit dem Snowflake Proxy und ssh-tarpit jetzt nach extern kommunizieren, aber nicht mehr mit anderen Geräten im Heimnetz. Dennoch kann ich aber via RDP und ssh darauf zugreifen. Genial.
Firefox-Sync läuft mittlerweile auch.
Somit kann ich das Projekt jetzt als "erledigt" markieren. Alles, was jetzt noch folgt, sind dann Verbesserungen.

 

[plang.pl]

Falls es jemanden interessiert. Ich habe mein ganzes Projekt mal visualisiert (natürlich im self-hosted draw.io ).
Hier ist das Ergebnis:


EDIT: Grafik aktualisiert.

 

[plang.pl]

Nun, da wieder Wochenende ist, hab ich weiter gebastelt.
Folgendes kam dazu:
-paperless NGX (läuft aber auf dem NAS, da dort zentral die Dokumente liegen sollen)
-sponsorblockcast (Youtube Werbeblocker für Chromecast)
Mich würde interessieren, ob jemand von euch davon schon mal gehört hat:
-honeygain
-pawns.app
Dabei stellt man quasi ein wenig Rechenleistung und einen kleinen Teil seiner Internetleitung bereit. Dafür erhält man - wer hätte es gedacht - Geld. Von beiden Tools habe ich auf Reddit gelesen. Seit ungefähr 3 Stunden am Laufen. Bis jetzt bin ich bei 0,1$ und 0,11GB übertragenen Daten.
Hier gibt's Infos: https://www.honeygain.com/?lang=de & https://pawns.app/
Gibt's beides als Docker-Image

 

[plang.pl]

Was mittlerweile auch noch läuft: Der Telekom Honeypot. Der beinhaltet etliche Honeypots und läuft quasi als eigene VM. Da kann man sehen, wer von wo was angreift und wie. Finde ich echt interessant. Ist auch gut dokumentiert bei GitHub.
Auf dem Kanal von RaspberryPiCloud gibts da auch 2 interessante Videos zu

 

[plang.pl]

Update:
Der andere Tiny hat nun auch Proxmox installiert und übernimmt Folgendes:
-eine Windows-VM; "Terminal-Server" für mich v.a. von extern
-da ich auf Linux umsteigen will: eine Mint- und Manjaro-VM zum Testen (mehr Infos)
-eine Windows-VM als "Terminal-Server" für meine Schwester, die ein iPad hat und darauf zu Hause arbeiten kann
Der 2. Tiny übernimmt nun zusätzlich zu den 5 Server VMs Folgendes:
-den Telekom Honeypot Server (tpot). Ist ziemlich interessant um zu sehen, wer einen versucht mit was genau und von wo anzugreifen (Warnung: Ressourcenfresser!)
Und auf der 720+ läuft nun noch paperless-ngx
Zudem habe ich ein Hardware-Upgrade vorgenommen: Der Tiny 1 läuft nun mit 64GB RAM und der Tiny 2 mit 32GB.
Deshalb hier die aktuelle Aufstellung:
(Wird mittlerweile schwer, das auf einen Screenshot zu packen)


EDIT: aktuelle Auslastung:
Proxmox1


Proxmox2:


DS:

Backup-DS:


EDIT2: Die VM für meine Schwester ist auf dem Proxmox2 noch nicht vohanden. Die erstelle ich erst noch

 

[plang.pl]

@Jim_OS Nutzt du die dynamische Speicherzuweisung? Also Ballooning? Ich hatte das bis jetzt genutzt. Aber seit dieser Woche habe ich es aus. Die CPU Last ist deutlich gesunken. Ca. 15% auf dem Host. Einige VMs waren vorher durchgehend an der 100% Marke, bis ich einen Neustart machte

 

[Jim_OS]

Nö. Ich habe unter Proxmox ja nur 4 VM auf Linuxbasis laufen und bei insgesamt 40 GB RAM in der Kiste habe ich RAM für die VM fest definiert. Irgendwann hatte ich mal etwas mit Ballooning getestet, weil das im Forum beschrieben/empfohlen wurde, aber ich kann mich jetzt nicht mehr daran erinnern warum und weshalb und worum es dabei genau ging.

Ich hatte bisher auch noch mit keiner VM das Problem das der RAM vollgelaufen ist und/oder das die CPU ausgelastet wurde, oder der Auslastung permanent nach oben ging.

BTW: Wenn die CPU Last einer VM sich selbständig immer weiter nach oben schraubt würde ich vermuten das da irgendetwas nicht stimmt/passt.

VG Jim

 

[Ulfhednir]

@plang: Du schreibst, dass auf fast allen Geräten Portainer läuft. Eine Anmerkung hierzu: Du kannst mit portainer-ee bis zu 5 Docker-Instanzen einbinden. Das macht die Wartung in vielerlei Hinsicht einfacherer. Ich greife z.B. im Bedarfsfall per Site-to-Site-VPN auf die Docker-Installation von meinem Bruder zu und habe zusätzlich eine VM mit Docker am Wickel.

Bei deinen Geräten würde ich möglicherweise auch über eine LDAP-Installation für eine zentrale Benutzerauthentifizierung oder einem Identity Prover nachdenken und in dem Zusammenhang macht vielleicht auch ein RADIUS-Server Sinn. Dann kommst du aber mit deiner Fritte nicht weiter. Weiterhin viel Freude beim Frickeln.

 

[plang.pl]

portainer-ee

Hatte ich auch schon mal getestet. Aber bis jetzt habe ich es schlicht noch nicht hinbekommen. Und du hast den falschen "plang" erwähnt
Mit der Community Edition geht das aber auch, oder?
Das mit der zentralen Userverwaltung hatte ich auch schon angedacht. Ich habe aber auf jedem Gerät nur einen User. Bisher passt das für mich.
@Jim_OS Seit dem ich das Ballooning aus habe, tritt das Phänomen nicht mehr auf. Unter meinen lubuntu VMs ist es auch vorher nicht aufgetreten. Es tritt lediglich in der einen Debian Instanz auf. Naja, jetzt habe ich alles fest zugewiesen. Ist ja kein Problem bei 96GB RAM

 

[Ulfhednir]

@plang.pl hab ich doch glatt das Suffix unterschlagen. Verwechslungen sollen aber sogar im Kreissaal stattfinden...
Kurz zur Einbindung: Ich habe die 5-Nodes-Lizenz so verstanden, dass die Funktionalität nur mit der EE gegeben ist.
Das mag vielleicht auch falsche Auslegungssache sein. https://www.portainer.io/5nf-license-agreement

Ich würde sagen: Versuch macht kluch. Wobei einige andere Spielereien tatsächlich nur der EE vorbehalten bleiben:
https://www.portainer.io/blog/porta...iner-business-edition-be-whats-the-difference

Derzeit gibt es die EE mit den 5 Nodes kostenlos - ergo ein No-Brainer.

 

[plang.pl]

Die 5 Lizenzen hatte ich mir schon mal gesichert. Aktuell aber wieder die ce installiert, weil ich dachte, ich brauche die extra Features eh nicht. Zumindest gibt es die Funktion bei ce, wo man Nodes hinzufügen kann. Wie viele das sind, weiß ich aber nicht. Und wie gesagt, hatte es bis jetzt nicht geklappt. Irgendwann schaue ich mir das vielleicht noch mal an. Da muss man ja auf den anderen Nodes immer diesen Agent ausrollen, oder?

 

[Jim_OS]

Ist ja kein Problem bei 96GB RAM

Dann würde ich Ballooning mal schnell vergessen. Wie schon geschrieben kann ich mich auch nicht mehr daran erinnern in welchen Zusammengang das für mich mal Thema war.

VG Jim

 

[Ulfhednir]

Für die Einbindung stehen verschiedene Wege offen. Der Agent ist aus meiner Sicht der einfachste, steht aber auch noch gar nicht so lange zur Verfügung, wenn ich das recht auf dem Schirm habe. Auf meiner VM musste ich nämlich noch etwas mehr auf der Shell herumfrickeln, um es einbinden zu können.

 

[plang.pl]

Out of the box hat es bei mir auch nicht geklappt. Muss ich mir noch mal ankucken. Wär schon cool, alles zentral zu verwalten

 

[plang.pl]

Erneut kurze Rückmeldung für die, die es interessiert:
Über Ostern hatte ich Zeit und hab ein wenig gebastelt.
Was habe ich gemacht:
-Beide Proxmox Nodes zu einem Cluster vereint, sodass alles zentral gesteuert werden kann
-Thema Leistung auf meinen 2 "Terminal-Servern" behandelt (Mint und Windows)
->iGPU durchreichen: Geht nur an eine VM -> somit musste ich meine Struktur neu organisieren (da beide Terminals auf demselben Host waren)
-Thema Monitoring: ich hab ein altes Tablet wiederbelebt, dass nun in verschiedenen Dashboards die Auslastung / Ereignisse anzeigen kann
->Aufsetzen einer VM mit grafana, InfluxDB, prometheus, CheckMK; dazu den Prometheus Node-Exporter auf den anderen VMs installiert
-Thema Ressourcenverwaltung:
->Begrenzung der maximalen Auslastung pro VM (einige VMs zogen im Peak viel zu viel, weshalb andere VMs teils fast nicht mehr bedienbar waren)

Hierzu wieder die aktualisierte Grafik:




EDIT: Fehler in der Grafik behoben.
EDIT2: Draw.io Datei angehängt, falls es sich jemand genauer anschauen will.
EDIT3: Hier der Screenshot meines hauptsächlich verwendeten Dashboards:

 

[plang.pl]

So. Der erste Zwischenfall:
Seit vorgestern gehäuft Probleme. Einige Webseiten brauchten sehr lange zum Laden. Teilweise funktionierte der Reverse Proxy nicht mehr. Auch die Verbindung zu Web-UIs via IP waren seeehr langsam. Nach Neustarts der Management-Server VM, wo AdGuard und der RP läuft, war es teils wieder besser. Ich habe immer wieder Tests des DNS-Servers ausgeführt. Meistens einmal ein Timeout und die zweite Anfrage ging durch. Wollte mich da eigentlich am WE genauer damit befassen. Heute bin ich von der Arbeit heimgekommen, kurz ein Youtube Video geschaut. Dann meldete das Smartphone "Kein Internet". Also erstmal Fritte neu gestartet, die hängt sich bei mir alle paar Tage mal auf. Doch auch danach ging nix. Also PC angemacht. Auch der meldete das Gleiche. Also mal ein paar nslookups gemacht. Da endeten fast alle Anfragen in einem Timeout. Sogar, wenn ich interne Domains anfragte. Habe dann den ganzen Proxmox neu gestartet. Immer noch das Gleiche. Dann alle Logs geprüft, keine Auffälligkeiten. Diverse Konfigurationsänderungen später wollte ich auf die Fritte schauen. Die war nicht erreichbar (Web-UI). Dann habe ich versucht, intern meine Geräte zu pingen. Fast jede zweite Anfrage ging ins Leere. Da ich die Tage noch ein wenig an der Verkabelung gebastelt habe, kam mir zunächst der Gedanke, dass ich vielleicht irgendwo einen Loop gesteckt habe. Alles geprüft, war nicht der Fall.
Dann PC, beide Proxmox Hosts durchgestartet. Keine Besserung. Mit Laptop im WLAN getestet: Fritte ist erreichbar. Ping Verhalten zu allen anderen Geräten fehlerhaft. Habe dann alles, inkl. Switche komplett ausgemacht und stromlos geschalten. Aktuell funktioniert wieder alles einwandfrei. Meine Vermutung: Ich habe 3 unmanaged Switche. Wahrscheinlich wird bei einem von denen die Switching Tabelle fehlerhaft gewesen sein. Die Billig-Dinger hatte ich vor etlichen Jahren mal gekauft. Ich denke, ich brauche nun auch noch einen besseren (am besten managed) Switch

 

[plang.pl]

Da das oben genannte Phänomen nicht mehr aufgetreten ist, dachte ich, ich kann mal weitermachen
Es geht in die nächste Runde:
-Windows Server 2019 aufgesetzt (Domaincontroller)
->damit will ich doch endlich mal zentrale Gruppen, Richtlinien, User und Rechte
-am 2. Host ebenfalls 2,5GbE verbaut
-Kali Linux Testmaschine aufgesetzt
-TorProxy als Docker Container installiert


So langsam habe ich dann aber auch mal alles umgesetzt, was ich immer haben wollte
Obwohl der Cluster noch nicht genug hat und ich noch dazu in den einen Host (pve2) noch mal 32GB RAM zusätzlich einbauen könnte. Diverse Seiten berichteten, dass der i5 9400T gleich schnell wie der i7 7700T ist. Aber dem i5 scheint doch eher die Puste auszugehen, als dem i7. Obwohl der i5 ja 2 physische Kerne mehr hat, dafür aber kein HyperThreading kann. Auf dem Host1 (i7) laufen 7 VMs. Auf dem Host2 (i5) laufen 4 VMs. Trotzdem meldet die Node pve2 durch die Bank eine höhere Auslastung. Vielleicht liegt es aber auch am geringeren Basis-Takt des i5 (1,8 vs 2,9GHz). Der Boost ist dagegen fast so hoch wie beim i7 (3,4 vs 3,8GHz).
Wie auch immer. Ich möchte mich nicht beschweren. Für die Kompaktheit und das Geld kann man mit den Dingern verdammt viel anstellen. Hier ist die Auslastung aktuell, wenn mal alle Maschinen laufen:




EDIT:
2 Dinge habe ich bei der Auslastung festgestellt:
Punkt 1:
Viel RAM ist bei Virtualisierung und Server-Diensten wesentlich wichtiger als CPU-Power. Gut, das wusste ich bereits.
Punkt 2:
In jedem Host steckt eine SATA-SSD und eine nvme SSD. Selbst wenn ich mit noch mehr RAM mehr VMs betreiben könnte, begrenzt mittlerweile schon so langsam der Durchsatz der Platten. Das IO-Delay liegt im Cluster zwischen 0,25-0,5% im Durchschnitt. Das ist zwar nicht viel, aber auch nicht wenig.
Wenn gerade viel Los ist, geht das auch gern mal auf 4-8%. Da ist das schon merkbar

 

[plang.pl]

Gestern kam Version 8 von Proxmox raus.
Heute mutig gleich mal aktualisiert. Was dabei passiert ist, hätte ich vorhin gern in den Ärger-Thread geschrieben.
Letzten Endes hat es mir aber gezeigt, dass meine Backup-Infrastruktur hinhaut.
Zuerst habe ich meinen Host Nr.2 upgedatet, der die weniger "kritischen" Maschinen hostet. Nachdem das dort alles ohne den kleinsten Mucks durchgelaufen ist, startete ich das Update auf dem Host Nr.1. Nach dem Auslösen des Reboots kam ich nicht mehr auf die Oberfläche.
Also Bildschirm angeschlossen und gebootet. Siehe da, er hängt bei der ersten Zeile (ich glaube "loading linux-pve" oder so ähnlich). Ich habe dann einige Zeit recherchiert und 2 User gefunden, die das gleiche Problem haben, aber noch nicht weitergekommen sind. Bei einem hat es geholfen, vor dem Boot den alten Kernel wieder aktiv zu schalten. Ich bin erst 1 Version zurück, dann 2, dann 3, nie ist die Node hochgekommen.
Dann wurde mir das zu dumm und habe den Host einfach formatiert, Proxmox neu installiert und wieder dem Cluster hinzugefügt. Dann Backups der VMs vom NAS wiederherstellen. So ist jetzt nach ca 1 Stunde der Host samt Maschinen wieder online. Geil.

 

[ctrlaltdelete]

Glückwunsch, ein funktionierendes Backup ist Gold wert.

 

[plang.pl]

Auf jeden Fall. Leider ist der Dump, also das Image-Backup der VMs von letzter Woche, weil der Speicher auf dem NAS vollgelaufen ist.
Ist aber nicht so wild, denn die wichtigsten Verzeichnisse der VMs wurden per AB4B mittels SMB weggesichert. Die werde ich jetzt nachträglich noch in die VMs kopieren. Dann noch ein wenig die Konfig. des Hosts wiederherstellen und es sollte passen. Dennoch ist es natürlich nervig, wenn wegen eines Updates der ganze Host abraucht...