Proxmox-Standard

Dies ist die Netzwerk-Standardeinstellung von Proxmox:

• eno0 – physikalische NIC – für VMs und MGMT
• vmbr0 (Bridge Port = eno0) für VMs und MGMT – Proxmox-IP-Konfiguration erfolgt hier

Hierbei können VMs beliebig an diese Bridge gebunden werden. Die Bridge ist VLAN unaware, was bedeutet, dass sich die Bridge wie ein physikalischer unmanaged Switch verhält. Also Frames mit VLAN-Tag forwardet, aber keine „Manipulationen“ daran vornehmen kann.

Wenn man mit VLANs arbeitet, sollte die Bridge immer VLAN aware sein. Da sonst bei einer vNIC (die an eine VLAN unaware Bridge gebunden wird) und VLAN-ID 1 genutzt wird, keine Klassifikation von der VM zur vNIC hin stattfindet (keine PVID, da VLAN unaware). Wenn in einer vNIC keine Einstellung bzgl. der VID vorgenommen wird, ist der gesamte Traffic des Trunks (der auf der – VLAN unaware – vmbr0 terminiert) innerhalb der VM sichtbar! Wenn eine VID (ungleich VID1) auf der vNIC gesetzt wird, findet dort die Klassifikation (in Sinne einer PVID statt). In diesem Fall wäre der Betrieb normal möglich. Aufgrund der möglichen Nebeneffekte, sollte der Betrieb mit VLANs unter einer VLAN unaware Bridge vermieden werden!

 

Management VLAN tagged

Wenn das Management-VLAN tagged zu Proxmox übertragen werden soll, muss man von der Standard-Einstellung abweichen. Hier gibt es unterschiedliche Verfahren, ob der physische Server nur über eine (1) NIC verfügt oder über mehrere NICs. Folgend werden beide Ansätze vorgestellt.

 

Server: 1 + n NICs

Wie in der Standard-Einstellung belässt man eno0 und die vmbr0 in Standardeinstellung. An diese Bridge werden die VMs gebunden.

Zusätzlich wird eine zweite Bridge erstellt und diese an ein zweites, physisches Interface gebunden. Ein neues VLAN-Interface wird dann an diese Management-Bridge gebunden.

• eno0 – physikalische NIC – für VMs
• eno1 – physikalische NIC – für MGMT
• vmbr0 (Bridge Port = eno0) – für VMs
• vmbr1 (Bridge Port = eno1) – für MGMT
• vmbr1.123 (VLAN Raw Device = vmbr1, VLAN-ID = 123) – für MGMT – Proxmox-IP-Konfiguration erfolgt hier

Dieses Verfahren ist aus der Perspektive der Netzwerksicherheit zu bevorzugen. Da das Management-Interface vollständig getrennt von der VM-Bridge ist.

 

Server: 1 NIC

Wenn der physikalische Server nur über eine (1) NIC verfügt und das Management-VLAN tagged übertragen werden soll, bietet sich der „Single-Bridge“-Ansatz an.

• eno0 – physikalische NIC – für VMs und MGMT
• vmbr0 – (Bridge Port = eno0) für VMs und MGMT
• vmbr0.123 – (VLAN Raw Device = vmbr0, VLAN-ID = 123) – für MGMT – Proxmox-IP-Konfiguration erfolgt hier

 

Abschließend

Wichtig ist, dass kein VLAN-Interface direkt an eine physische NIC gebunden wird und daran die Bridge! In dem Fall würden nämlich nur Frames der VID des VLAN-Interfaces an die Bridge gereicht werden (und weiter an die VMs).

Bridges können – auch wenn VLAN aware – selbst nur untagged angesprochen werde (die Bridge ist in dem Fall als Interface zu sehen). Deswegen ist es zwingend notwendig, ein VLAN-Interface an die Bridge zu binden (aber NICHT umgekehrt, siehe oben).

Den „Traditional VLAN-Bridge“-Ansatz würde ich heute nicht mehr einsetzen (VLAN-Interface direkt an physische NIC gebunden, Bridge an dieses VLAN-Interface gebunden). Da so pro VLAN eine eigene Bridge benötigt werden würde. Hier besteht potenziell auch die Gefahr, dass wenn man die Bridge an mehrere VLAN-Interfaces bindet, man so die einzelnen Layer2-Segmente vereint!

Wenn man mit LAGs arbeiten möchte (z. B. diese zur Abstraktion der physischen NICs nutzen möchte), müssen die Bondings zwischen dem physikalischen Interface und der Bridge eingezogen werden. Und auch wenn es technisch möglich sein sollte, die Management-IP von Proxmox selbst sollte IMMER auf einer Bridge oder einem VLAN-Interface (das an eine Bridge gebunden ist), erfolgen! Sonst kann es sein, dass diese IP nach einem Neustart nicht mehr erreichbar ist (erst nach einem Neustart des IP-Stacks im Proxmox-Linux). Für mich ist dies ein Bug, allerdings erfolgte keine Rückmeldung von Proxmox diesbezüglich an mich.