MACVLAN und FritzBox: Besser NICHT machen!

[knilch]

Hallo,

in der Vergangenheit hatte ich versucht diverse Dienste via MACVLAN und einer FritzBox 6690 einzurichten.
Ergebnis: Mehrere Tage (!) Fehlersuche und am Ende eine sehr wichtige Feststellung:

FritzBox MACVLAN funktioniert (meistens) nicht !

Ursache:
AVM hat zwar MACVLAN eingebaut, dies ist jedoch nicht offiziell supported. Und tatsächlich ist es so, dass bei den meisten Fritzboxen das ganze schlichtweg NICHT bzw. nur fehlerhaft implementiert ist.

Besonders gemein:
Die Verwendung führt zu sporadischen Fehlern! Dienste sind zeitweise mal da, mal nicht da...
Im Ergebnis sucht man sich den Wolf an allen möglichen Stellen - nur nicht der Firtzbox.

Fazit:
MACVLAN mit einer FritzBox?
Besser nicht!!!

 

[plang.pl]

Wie genau meinst du das?
Ein MACVLAN geht problemlos, wenn man z.B. unter Docker einen Container im MACVLAN aufsetzt. Zumindest hatte ich damit nie Probleme und ich hatte das hinter mehreren Fritzen im Einsatz und das auch über längere Zeit.
Generell hat halt MACVLAN seine Eigenheiten (Kommunikation zw. Host und Container erstmal nicht möglich). Und das ganze Konstrukt ist zudem eher fehleranfällig. Mit dem Router hat das m.E. aber nix zu tun.

 

[knilch]

Das hat nix mit der Syno / Docker oder so zu tun:

AVM hat zwar MACVLAN eingebaut, dies ist jedoch nicht offiziell supported.

= Es kann funktionieren, es kann auch nicht funktionieren.

Und GANZ GENAU so war es z. B. bei mir mit meiner Fritzbox 6690:
Es geht.... mal nicht .... geht... nicht.......

Auch bei Google findet einiges an Tränen zu diesem (Offtopic-)Thema.

 

[alexhell]

Aber was hat denn die Fritzbox mit MACVLAN zu tun? Ich verstehe nicht was die Fritzbox da supporten soll. Das MACVLAN ist doch eher eine Sache von Docker und nicht von einer Fritzbox

 

[plang.pl]

Ja, so hab ich das auch gemeint. Die Fritte hat da eigentlich nix zu melden. Das routen der Pakete basiert auf Basis der MAC-Adresse an die entsprechende IP, die eben per Broadcast antwortet. Ob die jetz in einem MACVLAN ist oder nicht interessiert die Fritte erstmal nicht

 

[knilch]

Nun, ich hatte auf der DS/Docker mehrere MACVLAN konfiguriert und diese mit der FriztBox im LAN "geteilt".
= In der DS (und in Docker) die Netze das Routing (DS) entsprechend konfiguriert, sowie in der Fritzbox die "geteilten" IP-Bereiche aus dem DHCP-Bereich genommen.
(Weiter geh ich da nicht drauf ein. Zu speziell... ARP Routing... OSI-Modell... route add... -> würde hier den Rahmen sprengen!)

Mein Ziel war es jedenfalls, dass die Ports an der DS frei werden und ich auf Docker-Dienste von intern und extern (über NGINX - ebenfalls dockerized) zugreifen kann. Da ich selbst kein Netzwerk-Profi bin, war hierfür viel Recherche und Arbeit nötig. Am Ende hatte ich jedoch alles definitiv richtig konfiguriert, wie mir ein Netzwerkprofi nach gemeinsamen Debugging-Stunden versicherte.

Wären da nur nicht diese unerklärbaren Verbindungsprobleme gewesen, weil DIE FRITZBOX es halt nicht richtig kann.
Wenn z. B. Client A (egal ob extern oder im LAN) mit Dienst XY im Container auf der DS kommunizierte (und damit über das MACVLAN), traten Verbindungs-Fehler auf. Zwar selten aber merklich und meist für wenige Minuten. Das Verhalten wurde zuletzt durch interenes und externes Monitoring über Tage aufgezeichnet. Die Analyse ergab jedoch keinerlei Zusammenhänge, die auf den Fehler deuten. Es war so, als würde ein kleiner Mist-Zwerg würfeln und mitten in einer Kommunikation wischen A und B den Schalter umlegen- oder halt nicht.

Hoffe es ist jetzt klarer, was die Kernaussage ist: Fritzboxen haben ein potentielles Problem mit MACVLAN

Blöd war halt, dass ich nie gedacht hätte, dass es meine Fritzbox ist, die da Mist baut!
Eine frühe Erkenntnis hätte mir TAGE an Kopfschmerz erspart.
Und deshalb teile ich das mir Euch...

 

[alexhell]

Hatte die Kommunikation etwas mit Docker Host und MACVLAN Containern zu tun? Also haben die irgendwie miteinander kommuniziert? Weil ein MACVLAN hat keinen Zugriff auf seinen Host. Da muss man extra Routen anlegen auf dem Host.
Wie gesagt, es kann nicht an der Fritzbox liegen. Die weiß nicht mal was MACVLAN ist bzw. welcher Client als MACVLAN betrieben wird. Ich gehe eher von einer Fehlkonfiguration bei deinen Containern/Host aus.

 

[knilch]

Ja, ich hatte Routen eingerichtet (siehe obhen).
Nein, es ging nicht.
Doch, es lag an der Fritzbox.

Wie gesagt: Ein Exkurs über Netzwerk-Spezial-Wissen würde hier den Rahmen sprengen.

nimms halt wie es ist: MACVLAN is not supported by AVM
= Finger weg!

Guckst du hier.

 

[plang.pl]

Ich möchte nur nochmal darauf hinweisen, dass der Reverse Proxy der DS nicht auf Container im MACVLAN zugreifen kann. Das liegt aber nicht an der Fritte und auch nicht an der DS, sondern am Grundprinzip vom MACVLAN. Sprich wenn du im Netzwerk den RP der DS ansprichst, kann dieser nicht auf Container weiterleiten. Auch nicht mit Routen. Das geht nur, wenn du ein MACVLAN Bridge Interface einrichtet, sprich die DS hat dann eine weitere IP, die sich im MACVLAN befindet.
Aber klar, ich kann nicht ausschließen, dass es deinem Fall nicht an der Fritte liegt, da ich das mit dem Modell, was du hast, nie getestet habe.

 

[alexhell]

Wie gesagt: Ein Exkurs über Netzwerk-Spezial-Wissen würde hier den Rahmen sprengen.

nimms halt wie es ist: MACVLAN is not supported by AVM
= Finger weg!

Aber genau das müsste man auch preis geben, wenn man das belegen will. Ich kann dir eine google Suche schicken die das Gegenteil "beweißt". Bei allen funktioniert es mit der Fritzbox. Was soll der Grund sein, dass es nicht geht? Was hat die Fritzbox mit MACVLAN zu tun? Wieso muss AVM etwas supporten was sie nicht mal ansatzweise betrifft? Sorry, aber solange du nicht über das "Netzwerk-Spezial-Wissen" genau schreibst, hat für mich die Aussage irgendwie keine Bedeutung. Man muss seine Aussagen auch belegen können. Ein Link zu einer Google Suche zählt nicht.

 

[haydibe]

Was man sagen kann, ist das die Fritzbox Sperenzchen macht, wenn ein Host mehr als eine IP hat (egal ob mehrere MAC-Adressen oder nicht) bzw. darüber erreichbar sind.

Die Heimnetz-Übersicht und auch die Portfreigaben können da schon mal merkwürdig aussehen. Es wirkt dann so, als wenn Einstellungen im Nachgang durcheinandergebracht oder vermischt werden, oder gar hin und her springen. Denselben Effekt hat man auch bei vrrp und Konsorten (carp, keepalived), wo genauso eine virtuelle IP mit einer virtuellem MAC eingesetzt wird.

Da hilft es nur diese Einträge in der Netzwerk-Übersicht händische mit mac und ip einzutragen. Danach werden diese Einträge sauber und isoliert vom Rest des eigentlichen Hosts betrachtet. Natürlich geht das ganze nur, wenn die IP noch nicht in der neighbours Liste eines Hosts enthalten ist. Mir ist kein Weg bekannt wie man die Neighboors Liste leer bekommt, außer den Host für 15 Minten vom Lan zu nehmen, damit dann desen Eintrage gelöscht werden kann. Dabei gehen aber auch alle Portforwarding an oder über den Host verloren.

Man kann die Neighboors List sehen, wenn man die Support-Dateien (von der support.lua) herunterlädt und anschaut. In der Tat ein ungeiles Thema.

 

[knilch]

@Mahoessen
Hast recht, der Google-Link war kontraproduktiv und wenig aussagend.
Bin selbst kein Netz-Spezi, hatte aber einen zur Seite.
Vielleicht kommt ja später noch jemand um die Ecke mit gleichen Erfahrungen und besseren Erklärungen.

 

[plang.pl]

Stimmt. @haydibe hat recht. Das ist mir auch schon aufgefallen. Hatte ich nur nicht mehr auf dem Schirm, weil ich das schon lange nicht mehr nutze. Je nachdem, was man will, ist das aber ja nicht relevant. Die fehlerhafte Anzeige in der Web UI führt ja nicht zu fehlerhaftem Routing. Lediglich wenn man darüber Portfreigaben realisiert, wird das relevant.

 

[knilch]

Die Heimnetz-Übersicht und auch die Portfreigaben können da schon mal merkwürdig aussehen. Es wirkt dann so, als wenn Einstellungen im Nachgang durcheinandergebracht oder vermischt werden, oder gar hin und her springen. Denselben Effekt hat man auch bei vrrp und Konsorten (carp, keepalived), wo genauso eine virtuelle IP mit einer virtuellem MAC eingesetzt wird.

Das hatte ich auch beobachtet, konnte aber keinen zeitlichen Zusammenhand erkennen zwischen Verbindungsausfall und Auftreten der doppelten IPs.

 

[alexhell]

Ursache:
AVM hat zwar MACVLAN eingebaut, dies ist jedoch nicht offiziell supported. Und tatsächlich ist es so, dass bei den meisten Fritzboxen das ganze schlichtweg NICHT bzw. nur fehlerhaft implementiert ist.

Dazu finde ich auch Null Informationen. Also wo steht das AVM MACVLAN eingebaut hat? Und wieso es das eingebaut haben muss? Es handelt sich dabei doch um einen Netzwerktreiber, der auf einem Host läuft. Dem Router ist es doch egal welcher Treiber wo läuft.

Bin selbst kein Netz-Spezi, hatte aber einen zur Seite.

Sorry, ist nicht böse gemeint, aber dann sind solche Aussagen

Ein Exkurs über Netzwerk-Spezial-Wissen würde hier den Rahmen sprengen.

nicht besonders förderlich.

Ich hab jetzt bisschen gesucht und finde nichts was deine Aussage bestätigen würde. MACVLAN macht zwar einiges komplizierter/schwieriger im Handling, aber dass die Fritzbox was damit zu tun hat kann ich nirgendwo lesen.

 

[Adama]

Und auch Probleme mit der Heimnetz-Ansicht in der FBox kann ich so nicht bestätigen.

Meine FBox zeigt die Syno mit ihrer IP an und der PiHole, den ich über MACVLAN laufen lasse, wird als eigenständiger Host geführt. Und das hab ich definitiv nicht manuell eingerichtet.

Ich hab dem Container im Compose-File allerdings auch die Variable "hostname" mitgegeben, damit der Container einen eigenen Hostnamen hat.

 

[Tuxnet]

@knilch

mehrere MACVLAN hattest du eingerichetet ?
Bis dato ging ich davon aus, dass man nur eins einrichten kann.

Also hier läuft alles fehlerfrei
FRITZ!Box 6660 mehrere Docker über macvlan

 

[Mahoessen]

nebulöse Aussagen, nicht nachvollziehbar, „einen bei Seite gehabt..“
entweder ein Bot, oder ein Redakteur von Pro7/ Galileo mystery

 

[haydibe]

Kann auch sein das ich macvlan und vrrp, sowie Portforwaring in Subnetze durcheinandergeworfen habe, aber das Problem das eine MAC/IP die in der Neighboors Liste eines Gerätes auftaucht sollte bei macvlan genauso gelten.

Im Grunde ist ein macvlan nichts anderes als ein Software-Switch, an dem alle Container mittels virtuellem Kabel hängen und das MACVLAN Parent Interface die Strippe zum physikalischen Switch darstellt. Auf dem Draht ist der Traffic nicht unterscheidbar.

Es können n macvlan Netzwerke für n Gateways angelegt werden. Ein Gateway kann nur von einem macvlan Netzwerk verwendet werden.

 

[knilch]

@Mahoessen
Was soll das denn jetzt?
Der "Netz-Spezi" administriert das Netzwerk für einen Mittelständler mit mehreren Standorten.

@alexhell
Mit "Ein Exkurs über Netzwerk-Spezial-Wissen würde hier den Rahmen sprengen." wollte ich nicht ausdrücken, dass ich persönlich in der Lage wäre einen solchen zu führen. Sorry, wenn das so rüber kam!

Und wo ich gerade beim Entschuldigen bin:
Es tut mir leid, ich finde keine belastbare Stelle (mehr), die meinen initialen Post "beweist".

Blöder Weise ist das ganze schon ein paar Monate her und ich bekomm nicht mehr alles zusammen...
Vielleicht findet sich ja eine Erklärung und das ganze hat entgegen meiner Behauptung nix mit der Fritzbox zu tun.

Mal sehn... den DS-Teil krieg ich noch zusammen:

# setup macvlan für routing Fritz > ReverseProxy > Docker-macvlan > container
if ! ifconfig LASmacvlan0; then
    echo LASmacvlan0 is down, setting up!
    ip link add LASmacvlan0 link eth0 type macvlan mode bridge
    ip addr add 192.168.0.93/32 dev LASmacvlan0
    ip link set LASmacvlan0 up
else
    echo LASmacvlan0 is up, nothing to do!
fi

# DHCP Fritzbox .2 -  .92
# service1.fritz.box
ip route add 192.168.0.127 dev LASmacvlan0
# service2.fritz.box
ip route add 192.168.0.130 dev LASmacvlan0

Ich glaube ich hatte jeder so erzeugten IP auf der Fritzbox noch einen Namen verpasst (service1.fritz.box, (service1.fritz.box, ...).