HomeLab

[plang.pl]

SMB - Share für backups funktioniert funktioniert

Ich bin bei sowas eigentlich eher ein Fan von NFS. Dadurch wird auch nicht permanent ins SMB-Log geschrieben. Damit habe ich auch den Backup-Share auf der DS in den PBS gemountet. Ob das mit dem Löschen der Backups funzt, werde ich erst in Zukunft sehen. Aktuell ist erst ein Backup gelaufen.
Das mit der Kategorisierung hatte ich mir auch schon mal überlegt. Aber solange ich den Speicher habe (baue mir gerade 18TB Platten ins NAS), werde ich alle Maschinen identisch behandeln. Wobei es eventuell Sinn machen würde, die Kategorisierung gleich zu machen, sonst müsste man bei Umstellung der jeweiligen VM wahrscheinlich die Backup-Kette neu anlegen lassen.

 

[Toby-ch]

Umstellung der jeweiligen VM wahrscheinlich die Backup-Kette neu anlegen lassen.

Nja du müsstest dann eigene jobs nach Kategorie machen, so mache ich dies in A4B für meine ESXI Umgebung. Einen NFS Share wollte ich zu meiner Qnap (NVME storage) aufbauen ohne erfolg.

 

[plang.pl]

ohne erfolg.

Hast du dir mal meine beiden Links aus #125 angeschaut bzw den dort genannten Workaround versucht?

eigene jobs nach Kategorie machen

So wie ich das bisher gesehen habe, müsste es reichen, einfach unterschiedliche Backup Namespaces zu nutzen. Also ja, demnach auch separate Jobs. Die Retention Policy ist bei mir auf dem PBS konfiguriert und nicht auf den PVEs.
Beeindruckend finde ich den Deduplication Factor, den man bei dir sieht.

 

[Toby-ch]

@plang.pl
Wie gesagt QNAP die hat nur noch eine Berechtigung im Rack zu verbleiben weil sie zugleich mien POE switch ist.
Ein NFS Share für PVE Proxmox Virtual Environment mit einer Synology ist kein problem habe ich hinbekommen und die backups umgestellt:
Ergebnis die flutschen nun mit 250 - 350M/s durch

 

[plang.pl]

Mit der PVE hab ichs auch sofort hinbekommen. Nur der PBS macht Zicken. Ich denke, dass bei der QNAP vielleicht ein ähnlicher Schritt notwendig ist.

 

[Toby-ch]

Mit der PVE hab ichs auch sofort hinbekommen. Nur der PBS macht Zicken. Ich denke, dass bei der QNAP vielleicht ein ähnlicher Schritt notwendig ist.

Ich habs hinbekommen bei der Qnap 1. ich hatte NFS v4 aktive was PVE glaube ich nicht beherrscht.
Nja wenn ich das Konzept des PBS richtig interpretiere ist dies eine Bearmetl Kiste, die nur PBS installiert hat und ein paar disk und mehr nicht.
darum sind die Freigaben nicht implementiert oder vorgesehen.
Dies wollte ich zuerst auch jedoch hatte mein 25cm tiefes 2HE case zuwenig airflow für die Intel 10GB/s Lan karte die hat sich auf Grund von Überhitzung ausgeschaltet.
ISCSI sollte eigentlich auf dem PBS auch funktionieren...

 

[plang.pl]

Der PVE kann sogar NFS 4.2. Zumindest in der neuesten v8:

Die DS kann aber "nur" 4.1

PBS richtig interpretiere ist dies eine Bearmetl Kiste

So ist es angedacht. Aber er beherrscht trotzdem NFS und SMB. Halt nur nicht über die GUI. Ich denke, dass da noch viel passieren wird. Der PBS ist ja noch relativ jung.

 

[plang.pl]

Seit ein paar Tagen ist nun für die Remote stehende FritzBox 7530AX auch FritzOS 7.5 verfügbar. Nun habe ich also endlich meinen IPSec Site 2 Site Tunnel auf WireGuard umgestellt. Fast ohne Probleme.
-auf die Remote Fritte über den bestehenden IPSec Tunnel aufgeschalten
-Zugriff auf die Weboberfläche über Internet via MyFritz aktiviert
-über die MyFritz Adresse aufgeschalten
-IPSec Tunnel abgeschaltet, WireGuard Tunnel konfiguriert und aktiviert
-über den WireGuard Tunnel aufgeschalten und Zugriff über Internet wieder deaktiviert
-"Habe fertig"
Dabei muss ich schon sagen, dass die Einrichtung des Tunnels wirklich nicht leichter sein könnte.
Ein "Problem" hatte ich: Als ich auf der 7590 den Tunnel angelegt hatte, erhält man die Konfig-Datei, die man dann auf der 7530 importieren muss. Nach diesem Schritt hing die Web-UI aber fest und reagierte auch nach 10 min nicht. Nach Neuladen war den Tunnel dann nich angelegt. Das Ganze mehrmals gemacht, immer mit dem Ergebnis, dass die UI festhängt. Letzten Endes lag es tatsächlich am Namen der Verbindung. Der hatte ich den selben Namen gegeben wie der IPSec Verbindung, die auf den Boxen noch vorhanden, aber inaktiv waren. Mit anderem Namen ging es dann sofort. Die IPSec Verbindung lasse ich zu Testzwecken mal auf den Geräten als inaktiv gespeichert. Dann kann ich die Performance der Tunnel mal vergleichen.
Allerdings erwarte ich da bei 6MB/s Upload keine Unterschiede. Lediglich die CPU Last könnte sinken. Die 7530AX ist eigentlich dauerhaft bei 80-90% gewesen mit dem IPSec Tunnel.
Was noch interessant ist: Ich habe das Ganze von Remote gemacht. War also per WireGuard mit der 7590 verbunden und habe das alles vom Tablet aus gemacht. Wenn man an der WireGuard Einstellung etwas ändert, fliegt man raus (so auch bei Anlegen des neuen Tunnels). Es dauert dann ca 1-2 min, ehe man sich wieder verbinden kann. Die Fritte scheint also nach jeder Änderung den WG-Dienst neu zu starten. Ist aber halb so wild.
Bisher hat es mich auch immer genervt, dass wenn ich von extern per WG mit der 7590 verbunden war, ich nicht das Netz der 7530 erreichen konnte. Anscheinend kann die Fritte den Verkehr, der per WG reinkommt, nicht über den IPSec Tunnel routen. Vielleicht funktioniert das ja jetzt mit dem WG Tunnel.

 

[Benares]

Letzten Endes lag es tatsächlich am Namen der Verbindung. Der hatte ich den selben Namen gegeben wie der IPSec Verbindung, die auf den Boxen noch vorhanden, aber inaktiv waren.

Darüber bin ich auch gestolpert, scheinbar müssen die Namen aller VPN-Verbindungen (egal ob IPSec oder Wireguard) eindeutig seit. Ich erinnere mich dunkel, dass da sogar eine Meldung gekommen wäre, wenn nicht mein Popup-Blocker (uBlock Origin) diese blockiert hätte. Seither habe ich für meine Fritten bei uBlock Ausnahmen definiert.

 

[plang.pl]

Also ich habe keinen Popup Blocker installiert. Allerdings bringt Firefox standardmäßig einen mit. Der zeigt ja eigentlich eine Meldung an, wenn er Popups blockt. Ich hatte allerdings auch schon Fälle, wo keine Meldung kam. Auf der Web-UI der Fritte stand "Wird angelegt" oder so ähnlich. Sie blieb also unendlich lange bei der Fortschrittsanzeige hängen.
Vielleicht kann ich das bei Gelegenheit noch mal mit deaktiviertem Blocker versuchen. Danke für den Hinweis.

 

[Monacum]

Ich habe letztens die zwei FRITZ!Boxen aus meiner Signatur (7590&7510) miteinander verbunden via WireGuard und kann deine Erfahrungen, @plang.pl nur bestätigen. Ich bin lediglich darüber gestolpert, dass man in beiden Routern in den VPN-Einstellungen „NetBIOS über diese Verbindung zulassen“ aktivieren muss, damit es funktioniert. War zumindest bei mir so.

 

[plang.pl]

Das NetBIOS wird nur benötigt, damit SMB über den Tunnel gejagt werden kann. Ohne diese Option funktioniert das nicht. Alle anderen Dienste funktionieren aber.
Und ich hatte es schon mal irgendwo gesagt: Ich verstehe nicht, warum diese Option nicht standardmäßig aktiv ist. In den allermeisten Fällen wird man SMB über den VPN nutzen wollen

 

[Monacum]

Dann macht das Sinn, ich habe versucht, über SMB auf mein NAS an Standort 1 zuzugreifen.

 

[plang.pl]

Vielleicht funktioniert das ja jetzt mit dem WG Tunnel.

Hierzu schonmal die erste Info / Erkenntnis:
Das Routing zum 2. Standort geht immer noch nur lokal. Das heißt, dass ein Gerät, dass via WireGuard mit der 7590 verbunden ist, nicht in das Netz der mit WireGuard verbundenen 7530 AX kommt
Vielleicht liegt es aber auch daran, dass der Tunnel nicht für alle Geräte offen ist. Aber die per VPN verbundenen Geräte sind dort auch gar nicht "zulassbar". Am Client ist übrigens in der Konfig. 0.0.0.0/0 hinterlegt. Muss also tatsächlich am Routing der Fritte liegen. Habe nun einfach auf jedem Gerät zusätzlich einen WireGuard Zugang zum anderen Netz angelegt. Muss ich halt bei Bedarf switchen

 

[plang.pl]

So PBS auf die neue v3.0 angehoben.
Nun klappt das Einbinden des NFS Shares auch ohne den Workaraound mit der DS.
EDIT: Besser gesagt geht es nun nur noch, wenn das "Map to admin" deaktiviert

 

[plang.pl]

Neue Erkenntnisse:
Thema Proxmox Backup Server
Der NFS Mount auf die DS ist mir wieder abgeraucht und die Backups sind nicht gelaufen. Habs auch nicht mehr hinbekommen, hab den PBS komplett neu installiert und mit diesem Workaround klappt es bis jetzt. Von Proxmox wird weiterhin behauptet, dass der Fehler an Synology liegt. Kann aber nicht der einzige Grund sein meiner Meinung nach. Denn unter lubuntu und dem PVE Hypervisor funktioniert es problemlos. Ich hoffe, dass mir der Spaß nicht noch mal passiert, sonst steig ich auf Samba um.
Thema WireGuard S2S Tunnel
Am Datendurchsatz hat sich gefühlt wenig getan. Der maximale Durchsatz bleibt im Vergleich zu IPSec fast gleich. ABER: Bei mehreren Verbindungen schaut das anders aus. Vorher hatte ich zu dem 2. Standort einen max. Upload von einer DS zur anderen von 5MB/s, wenn ich nebenbei noch im remote Netz unterwegs war (Admin Oberfläche der remote DS offen, Portainer offen, auf der remote Fritte drauf etc pp). Wenn ich das jetzt so mache, erreiche ich fast 7MB/s. Wenn nebenbei nix offen ist, erreiche ich fast 8MB/s. Das waren vorher knapp über 7MB/s.
->Fazit: Nix, was man im Alltag merken würde. Es sei denn, ich lade mal große Dateien zur anderen DS (mehrere Gigabyte). Vor allem sind aber auch die Latenzen besser geworden, wenn gerade viel los ist. Und wenn bereits bei meiner 0815 Internetleitung ein Unterschied zu spüren ist, dürfte der bei schnellerem Upload noch mehr zu spüren sein. Ich erkläre mir das durch den geringeren Overhead und verbesserte Unterstützung in Hardware, vor allem auf der 7530AX.
Thema neue "Projekte"
-Habe Invidous aufgesetzt. Will ich mal testen -> ist ein self-hosted Frontend für Youtube
-Mosquitto und Node-Red aufgesetzt vorerst zum Herumspielen

 

[Ulfhednir]

Neue Erkenntnisse:
Thema Proxmox Backup Server
Der NFS Mount auf die DS ist mir wieder abgeraucht und die Backups sind nicht gelaufen. Habs auch nicht mehr hinbekommen, hab den PBS komplett neu installiert und mit diesem Workaround klappt es bis jetzt. Von Proxmox wird weiterhin behauptet, dass der Fehler an Synology liegt.

Ich hatte jetzt noch einen Threadripper 1920 herumzuliegen und habe mir daraus einen kleinen Homeserver gebaut. Proxmox lief nicht, da habe ich zu ESXi gegriffen. Beim Kopieren einer größeren vmdk-File hatte ich auch meine Probleme mit meinem NFS-Mount... Das Ding brach mir ständig beim Copy-Job weg. Möööglicherweise ist ja tatsächlich etwas dran.

 

[plang.pl]

Warum läuft da Proxmox nicht?

 

[alexhell]

Ich hätte mal eine Frage wie ihr das umsetzt. Wenn ihr eine PostgreSQL Datenbank laufen habt und die für alle Anwendungen nutzt, wie stellt ihr sicher, dass die Anwendungen laufen falls man mal Wartungsarbeiten hat oder die Instanz gerade nicht erreichbar ist. Ich habe 3 Instanzen wo Docker/Anwendungen laufen. Wenn ich mir jetzt einen DB Host einrichten würde, dann würden ja alle davon abhängig sein. Man müsste also aufpassen wann man da was updated usw. Wie habt ihr das gelöst? Ich habe mir überlegt, dass ich mir SymmetricDS einrichte und auf 2 Hosts die Datenbank aufsetze. Wenn dann eine offline geht, dann ist das kein Problem und alle Apps laufen weiter. Aber ich weiß nicht, ob das zu viel Overhead ist oder ob das so sauber funktioniert.

 

[plang.pl]

Also ich persönlich habe folgendes an Datenbanken am Start:
-eine MariaDB auf dem File-Server (DS720+) für paperless-ngx
-eine MariaDB & eine postgres auf dem "SQL-Server" (lubuntu VM auf Proxmox) für redmine, vaultwarden, firefox-sync und bookstack
-eine MariaDB auf dem "Management-Server" (lubuntu VM auf Proxmox) für den NGINX RP
Warum mache ich das so?
Weil ich vermeiden will, dass alles down geht, wenn der SQL-Server ausfällt oder dort die MariaDB einen Fehler hat. Zudem vermeide ich Netzwerktraffic, wenn auf jedem Server, der es benötigt eine eigene DB läuft. Das bisschen Leistung, was der MariaDB Container als Overhead zieht, ist zu vernachlässigen.