OpenVPN, IPSec zwischen zwei 1Gbit Standorten erreichen schlechten Throughput

    Hoi zäme!


    Ich bin zur Zeit dran mit einem Kumpel unsere beiden Standorte über VPN zu verbinden.

    Zuhause habe ich Init7 und mein Kumpel Thurcom.


    So sieht ein tracert aus:

    Code
    1. 1 <1 ms 1 ms 2 ms xx [10.xx.xx.254]
    2. 2 <1 ms <1 ms <1 ms xx.fiber7.init7.net [xx.xx.xx.xx]
    3. 3 <1 ms <1 ms <1 ms xx.fiber7.init7.net [xx.xx.xx.xx]
    4. 4 <1 ms <1 ms <1 ms r1zrh7.core.init7.net [82.197.163.113]
    5. 5 <1 ms <1 ms <1 ms r1zrh9.core.init7.net [82.197.168.124]
    6. 6 8 ms <1 ms <1 ms r2zrh2.core.init7.net [77.109.181.102]
    7. 7 1 ms <1 ms 10 ms r1zrh5.core.init7.net [82.197.168.35]
    8. 8 2 ms 2 ms 2 ms equinix-zurich.datapark.ch [194.42.48.65]
    9. 9 2 ms 2 ms 2 ms 213.196.150.73
    10. 10 3 ms 3 ms 2 ms xx.tbwil.ch [xx.xx.xx.xx]


    Als Router haben wir beide eine PFsense mit der neusten Version 2.4.5.

    Mein Server hat eine Intel Xeon E5-2670 @ 2.60GHz CPU.

    Und mein Kumpel eine Intel Xeon E5-2450L @ 1.8GHz CPU.


    Ich erwähne dies einmal, da wir der Meinung sind, dass die CPU für die Kryptografie keinen Bottleneck darstellen sollte.

    AES-NI Unterstützung hat die CPU und ist auf der PFsense auch aktiv.


    Jetzt haben wir das Problem, dass wir weder mit OpenVPN als auch mit IPSec einen vernünftigen Throughput haben.

    Mit IPSec ist es ca. 65MBit/sec und mit OpenVPN ca. 150MBit/sec in beiden Richtungen.

    Dabei spielte das Protokoll für den Datentransfer keine Rolle. SMB, SFTP, HTTPS etc. hatten alle dieselben (schlechte) Werte.


    Was wir bereits ausprobiert haben bei den beiden VPN-Protokollen die Verschlüsslungsstärke zu minimieren oder erhöhen, was aber keine nennenswerte Änderung gebracht hat.

    MTU Werte haben wir auch schon verschiedene ausprobiert, hat aber auch nichts gebracht. Vielleicht haben wir aber einfach ungünstige MTU-Werte genommen.

    Bei OpenVPN konnten wir den TCP Send/Receive Buffer erhöhen, was teils eine Verbesserung gebracht, aber auch nicht so, dass es viel besser wurde.


    Gegooglet haben wir natürlich auch schon und sehr vieles (unbrauchbares) gefunden, was uns aber leider auch nicht weiter geholfen hat.

    Strange ist auch, dass wir der Meinung waren, dass IPSec schneller sein sollte als OpenVPN, was hier aber genau umgekehrt ist.


    Ich wollte jetzt in die Runde Fragen, ob jemand Erfahrungen damit gemacht hat mit VPN und dabei gute Werte erzielt hat.

    Oder jemand eine alternative VPN Lösung hat für eine PFsense.

    Wir sind für jeden Tipp oder alternativ Lösung sehr dankbar!


    Was dabei erwähnt werden sollte, dass auf beiden Seiten kein generelles Speed Problem herrscht.

    Wenn mein Kumpel etwas von mir direkt (übers Internet, ohne VPN) über FTP herunterlädt, erreicht er 940MBit/s, was das maximale der Leitung entspricht.


    fastforward
    Ich tagge dich einmal hier, da ich dich als Netzwerk-Guru in Erinnerung habe :)

    Zitat von s-master

    Als Router haben wir beide eine PFsense mit der neusten Version 2.4.5.

    Mein Server hat eine Intel Xeon E5-2670 @ 2.60GHz CPU.

    Und mein Kumpel eine Intel Xeon E5-2450L @ 1.8GHz CPU

    So wie du das erwähnst, ist es unterschiedliche Hardware? oder läuft die pfSense in einer VM?

    Der VPN Server ist schon auf den Servern installiert? Die pfSense muss nur die Daten weiterleiten?


    Evt. eine Providerlimite die euch bremst?

    Gestalten des Lichts werfen die dunkelsten Schatten. Dunkle Kreaturen gar keine.

    Zitat von Lyunac

    So wie du das erwähnst, ist es unterschiedliche Hardware? oder läuft die pfSense in einer VM?

    Der VPN Server ist schon auf den Servern installiert? Die pfSense muss nur die Daten weiterleiten?


    Evt. eine Providerlimite die euch bremst?

    Ja sind unterschiedliche Hardware bei mir und meinem Kumpel.
    PFsense läuft bei beiden nicht in einer VM.
    Ja sonst macht die PFsense kein IDS oder so

    Providerlimite ist ausgeschlossen bei init7.

    Thurcom kann ich nichts dazu sagen

    Wenn ihr OpenVPN benutzt macht UDP. OpenVPN mit TCP macht keinen Sinn (TCP-over-TCP Tunnel/TCP Meltdown).

    Sobald ihr minimalen Packet Loss habt füllt ihr eure Leitung mit unnötigen Resends.

    Und ja heutzutage würde ich auch Wireguard benutzen für Site-2-Site.

    Habe WireGuard ausprobiert.

    Mann war das ein Kampf für die PFsense zu konfigurieren.

    Speed ist aber massiv besser mit einigen Protokollen beim Filetransfer.

    Habe jetzt aber noch mit Speedproblemen mit Thurcom zu kämpfen!

    Zitat von s-master

    Habe WireGuard ausprobiert.

    Mann war das ein Kampf für die PFsense zu konfigurieren.

    Hattest du openVPN und IPsec auch auf der pfSense konfiguriert?

    Gestalten des Lichts werfen die dunkelsten Schatten. Dunkle Kreaturen gar keine.

    Über FTP hatte ich 940Mbit/sec erreicht (mit mehreren Threads) Was das maximum darstellt.

    Über SMB erreiche ich 300-650Mbit/sec. Vielleicht lässt sich mit den MTU-Werten noch was optimieren.

    Das aber nur im Download bei Thurcom. (für Init7 ist es ein Upload)

    Wie gesagt habe ich mit Thurcom sonst noch Probleme mit dem Upload. Das ist irgendwie bei allem (also nicht VPN) bei 150mbit limitiert.

    Ich gehe hier stark davon aus, dass der Provider das irgendwie limitiert hat. Wobei ich nicht 100% ausschliessen konnte, dass es an meiner bzw. meines Kollegen Infrastruktur liegt.


    Lyunac
    Ja hatte OpenVPN und IPsec auch auf der PFsense konfiguriert gehabt.

    Die Schwierigkeit war, dass es für PFsense kein Offizielles Packet gibt für WireGuard.

    Allerdings gibt es das Paket im Repo von FreeBSD. Dies habe ich installiert. Und mit googeln hab ich noch ein Github-Projekt gefunden, welches ein WebGUI für die PFsense erstellt hat.

    Zitat von s-master

    Ja hatte OpenVPN und IPsec auch auf der PFsense konfiguriert gehabt.

    In dem Fall würde ich sagen, die Hardware der Firewall macht die Verschlüsselung. Kann bei 1Gbit/s schon mal der Limitierende Faktor sein.

    Oder sind die zwei Xeons nur für die Firewall? Dann erübrigt sich das.

    Gestalten des Lichts werfen die dunkelsten Schatten. Dunkle Kreaturen gar keine.

    Hallöchen s-master,

    Ich bearbeite nun den Post etwa das 4. Mal, da ich sehr Wirr geschrieben habe. Als erstens sorry, dass ich DIr erst jetzt geschrieben habe - Ich habe es leider nicht früher gesehen - Ich bekam auch keine EMail für das Tagging...


    Wichtig ist das wir als erstes einmal den Real Speed feststellen mit eine Protokoll, welches nicht durch die Firewall verschlüsselt ist. Hier bietet sich vor allem FTP an. Ich habe gesehen das Du schon solche Test gemacht hast, aber die sind leider nicht von nutzen, wenn Du Multi-Thread gefahren bist.
    Die Frage lautet konkret, Wie viel Speed bekommst Du mit einer Session.


    Was ich aktuell auch nicht Weiss, ist die die Load bei dem Peering aussieht zwischen Init7 und Datapark. Init7 hat tendenziell eher gut ausgelastete Leitung und Datapark hat tendenziell wenig Leitungen ;)


    Ich bin nun einmal ein wenig ein Provider Schwein und sage Dir: Frag einfach unverblümt einmal nach. Beginnen würde ich bei Datapark:


    Mail an noc@datapark.ch schreiben und Nachfragen:

    1) Wie sieht die Auslastung Ihres Equinix Peering Port in Zürich aus, respektive die direkte Auslastung mit Init7
    2) Wird ein Traffic Shapping oder Ähnliches auf Protokollen eingesetzt.


    Ich bin sicher, dass Du eine Antwort kriegst.


    Mit Datapark/Thurcom hatte ich auch schon ein paar Probleme - Habe dort auch ein Anschluss. Eine statische IP Adresse wird an eine MAC Adresse gebunden. Geht die Firewall in der Nacht defekt. Kannst bis am Morgen warten bis der Support offen hat und die neue MAC-Adresse einträgt... *Applaus"


    Ich persönlich finde jetzt 150Mbits über zwei Best Effort Leitungen nicht schlecht. Da Du aber vorher schon einmal geschrieben hast, Das Du das Gefühl hast das eine Session auf 150Mbits limitiert wird, würde dies die 150Mbits per OpenVPN bestätigen.

    Ich denke vom NOC hörst Du genau diese Limite.


    Ich haben mit SOFTether echt coole Erfahrung gemacht für VPN, vor allem mit Bridge Lösungen - Was auch die Performance angeht.


    Zum Thema MTU

    Was auch noch zu erwähnen ist um die Firewall zu entlasten muss der MTU auf dem LAN interface tiefer sein, als auf dem VPN Interface - Normalerweise muss man hier eigentlich nichts machen - Kann aber zu Vorteilen führen. Würde ich aber aktuell noch vernachlässigen.


    Nachtrag. Ich habe schnell nachgesehen - Habe nicht mehr soviel Traffic zu Datapark:

    4DqjIQF.png

    Wenn "Server" eine Religion ist, habe ich die passende Kathedrale dazu!
    --
    WebHosting - Server Housing - vServer -Online Backup - Antispam
    Attraktives Partnerprogramm für jeden.
    Mehr infos unter www.fsit.com oder via PN. Für Tweaker-Rabatt ist eine Nachfrage via PN sinnvoll.
    Noch 148'713 Mails checken um die Welt zu retten ??? Mit dem FSIT Spamfilter wäre die Welt mit nur 3'269 Mails gerettet.


    Wir freuen uns auch über ein Facebook Like ;)


    Ein Spermium enthält 750 MB an DNA-Daten. Das macht pro Ejakulation ca. 164,8 Mio. GB an Daten und entspricht rund 270 Mio. GBit/Sek. Bandbreite.

    6 Mal editiert, zuletzt von fastforward ()

    Dauerte doch länger mit Antworten.


    Die Upload-Probleme beim Standort meines Kollegen mit Thurcom sind unterdessen behoben worden.

    Der ONT wurde durch den Provider ausgetauscht. Mit Speedtest.net erreicht man gute 800-900Mbit im Up und Down.


    Somit konnte ich mich wieder aufs VPN konzentrieren.

    Ich hab jetzt nicht nochmals alles mit IPSec oder OpenVPN ausprobiert. Sondern nur noch mit WireGuard.

    Ich denke mit WireGuard habe ich den bestmöglichen Speed.