erfahrungen mit Salt fiber und init7

    Hast du auf der pfsense irgendwelche Filter laufen ala IPS/IDS, Antivirus, SSL Filter etc? Das benötigt massiv CPU Power, müsstest du ziemlich sicher abschalten um die 10Gbit zu erreichen.

    Signatur sein ist doof, ich will ein Avatar werden, wenn ich gross bin!

    Zitat von Mannyac

    Hast du auf der pfsense irgendwelche Filter laufen ala IPS/IDS, Antivirus, SSL Filter etc? Das benötigt massiv CPU Power, müsstest du ziemlich sicher abschalten um die 10Gbit zu erreichen.

    kein IDS

    Kein SSL aufbrechen

    kein AV


    CPU bottleneck kann ich ausschliessen. ESXi CPU monitor ist nicht am durchdrehen, gleiches bei dem pfsense monitor.

    kann natürlichs ein, dass von den 3 vcores einer bei 100% ist und dadurch alles bremst.


    ABER das verhalten von den iperf3 LAN/ WAN ist gleich. und mit LRO komme ich auf den wert.

    ich denke nicht, dass es ein CPU problem ist, sonst müsste es auf der WAN seit eoder auf der LAN + WAN seite ausgerägter sein.

    ich glaube ich habe eine lösung. freebsd´s implementierung von esxis VMXNET3 treiber ist nicht wirklich state of the art.


    der WAN intel nic unterstützt SR-IOV -> In ESXi aktiviert, pfsense VM neu gestarte und BAM!

    Download: 4087

    Upload: 9460


    Warum der upload so hoch ist im vergleich zum download weiss ich noch nicht.


    leider sind meine mellanox connectx-2 karten nicht SR-IOV fähig. es gibt aber wohl eine möglichkeit die firmware um zu schreiben und es damit zu aktivieren....


    PCI passthrough wäre wohl auch möglich ABER wenn der LAN exklusiv für PFsense da ist und irgendwas verheddert sich, komme ich nicht mehr auf sämtliche management consolen. plus ein zusätzliches routing für das VM Netzwerk auf ESXi wäre nötig.


    Also entweder connectx-2 firmware bearbeiten oder mit dem speed leben oder nach einer alternative schauen.


    wenn jemand ein 10gbit SFP NIC rumliegen hat, mit kompatibilität zu SR-IOV, freebsd, esxi, linux, windows für einen schmalen taler....

    habe leider keinen passenden NIC auf die schnelle gefunden und mich dann mal an das flashen gemacht.


    es ist wirklich ein alptraum an die alten infos zu kommen und die passende software zu finden. mellanox resp. Nvidia stellt nichts mehr parat, womit man es selbst machen könnte.


    generell, man muss "nur" in der .ini der firmware auf dem controller 3 zeilen hinzufügen

    in der [HCA] sektion:

    num_pfs = 1

    total_vfs = 64

    sriov_en = true


    da das hier eine mellanox karte ist, kann man es nicht einfach so überschreiben, sondern benötigt ein .mlx file, wleches man dann mit der .ini verheiratet. daraus entsteht dann ein .bin, welches man auf die karte flashen kann.


    es hat mich mehrere tage gekostet. aber ich werde meine quellen verlinken, falls es mal jemand wieder braucht.



    https://www.servethehome.com/c…rdma-windows-server-2012/


    https://forums.servethehome.co…anox-firmware-tips.10722/


    https://www.triebwerk23.de/joo…-windows-server-2012-2016


    https://www.dropbox.com/s/511no7moj8z1ydg/Scripts.rar?dl=0

    ^ das habe ich im internetz gefunden. ich hoste es nicht und habe auch keine ahnung, was da hochgeladen wurde. alles auf eigenes risiko!


    naja karte hat nun sr-iov aktiviert aber der blöde ESXi treiber erkennt es nicht ganz, kann es zwar umschalten aber nach jedem neustart möchte die maschine direkt wieder neu starten.


    vermutlich muss ich den treiber auf ESXi anpassen


    mlx4_core.conf

    Code
    1. options mlx4_core num_vfs=64 port_type_array=2,2


    mir ist noch nicht ganz klar, wie ich das machen kann und ob ich da bock drauf habe.....

    habe heute etwas mit ESXi rumgespielt


    Code
    1. esxcli system module parameters list -m mlx4core

    gibt mögliche optionen aus, unter anderem auch max_vfs, also mal direkt auf 64 setzen, in der hoffnung esxi frisst die einstellungen und kommt aus der reboot aufforderung raus und lässt mich endlich SR-iov'en


    Code
    1. esxcli system module parameters set -m mlx4core -p "max_vfs=64"

    reboot



    uuunnnnnnnddddddd


    nix hat es gebracht :-(

    hab jetzt 64 virtuelle nics, welche ich aber nicht als netzwerkadapter hinzufügen kann. Auswahlfeld zeigt nicht die mellanox karte an.


    "pci gerät hinzufügen" lässt mich die mellanox karte auswählen, esxi startet aber die VM nicht und fordert zum reboot auf.



    es könnte alles so einfach sein, einfach eine ordentliche freebsd implementierung von vmwares VMXNET3 und Truenas, PFsense, opnsense etc. könnten easy die 10gbit grenze virtualisiert durchbrechen.