Posts by Kaioken

    Ich hätte eine Inno3d RTX 2070 zu verkaufen, gekauft April 2020. Würde sie verkaufen, da ich aktuell kaum noch spiele.

    Original Lüfter wurden gegen zwei Noctua 92mm Lüfter mit passendem Anschluss ausgetauscht.


    Preis mit Noctua Lüfter: CHF 350 inkl. Versand.

    Merci fürs Angebot ruffy, aber ich habe gestern spontan eine 58GB Optane 800P SSD gekauft und heute grad eingebaut.

    Läuft recht gut und bringt nochmals einen Performance Schub.


    Truenas 12 Beta hatte ich ganz am Anfang installiert. Aber eben, es war halt die Beta Version. Solange noch keine finale Version draussen ist, bleibe ich bei freenas 11.3-U5.

    Mich hat das Thema Freenas irgendwie nicht losgelassen und ich habe nochmals paar Sachen getestet.

    Konnte einen günstigen HBA kaufen, welcher sehr von der Freenas Community empfohlen wird (ServeRaid M1015 als LSI 9211-8I IT geflasht). Dieser alleine hat zwar keine spürbare Performance gebracht, aber als ich dann die Samsung PM981 NVME SSD durch eine gewöhnliche Samsung Evo 860 SATA SSD, angeschlossen am HBA direkt, ersetzt habe, hatte ich plötzlich sehr stabile Übertragungsraten von über 230MB/s und zwar konstant.


    Mit der NMVE als SLOG fing die Übertragung immer mit gut 380MB/s an, sackte kurz darauf auf 300 runter, um dann nach ein paar GB am Schluss mit 110-140MB/s rumzugurken.


    Die nächste Investion wird wohl eine NVME SSD sein, die etwas robuster ist (Intel Optane, Samsung / Kingston DC Serie, halt irgendwas mit PLP und robusteren Speicherzellen)


    Falls wer eine Intel Optane PCIe SSD rumliegen hat, bitte melden :gap

    Bei ZFS scheint es so zu sein, wie beim Auto: Hubraum ist durch nichts zu ersetzen wie durch mehr Hubraum.

    Willst Du bessere Performance? Dann bau mehr Platten ein. Klar, sehr schnelle SSDs als Log Device bringen sicher war (NVME mit niedriger Latenz), aber am Schluss muss die Ware auf den mechanischen Platten landen und dort scheint halt der Flaschenhals zu sein?!

    Interessant wäre es noch zu sehen, wie gross der Unterschied wird, wenn ich z.B. die WD Red durch WD Red Pro ersetzen würde - 5400rpm vs. 7200rpm. Vermutlich wäre schon eine Steigerung vorhanden, aber nicht so extrem, dass ich jetzt plötzlich am Limit der Netzwerkkarte bin

    hat man bei freenas nicht 3 optionen?

    1. Standard (intend log wird geschrieben, dann daten auf festplatte und konsistenzcheck)
    2. sync = always (es wird alles direkt auf die Platten geschrieben)
    3. Sync=disabled

    ich hab es bei mir auf standard

    Im xigmanas.com Forum gefunden. XigmaNas verwendet ja auch ZFS als Untersatz:

    standard = ZFS will sync writes when the app asks for it (ESXi always syncs, at least on NFS)

    always = ZFS will sync every write to disk immediately, even if ESXi (or whatever app) doesn't ask for it.

    disabled = ZFS won't sync writes whether asked or not. In case of a crash, you will lose a few seconds of writes.

    =>https://www.xigmanas.com/forums/viewtopic.php?t=5887



    Ich glaub bei SMB Share Zugriff via Windows Client z.B. bewirkt die Einstellung "Standard", dass Daten asynchron geschrieben werden, also guter Durchsatz. Die Standardeinstellung bei einem neuen Share ist ja die Einstellung "Standard".

    Beim Rumprobieren am Anfang habe ich die Einstellung öfters vergessen zu ändern und mich immer gewundert, warum der neue Pool plötzlich einen so guten Durchsatz bringt :gap



    Stell doch mal bei Dir auf Always um. Wäre witzig zu sehen, ob der Durchsatz immer noch so hoch ist :cheers

    Ok, 40MB/s sind echt wenig! :eek Und ich nerv mich noch wegen den 120 - 180MB/s :gruebel

    Im freenas Forum kommt oft der Vorschlag, dass man doch einfach noch ein paar Disks hinzupacken soll, wenn die Performance nicht stimmt.

    Scheinbar fängt der Spass erst ab 8 Disks an, am besten noch mit gesplitteten Mirror und mehreren slog SSDs rumprobieren.


    So weit ich das sehe, bietet das Supermicro Board eigentlich alles, so wie es Freenas auch mag.

    Ich sehe da eher die Zipfel Netzwerkkarte, bzw die Umsetztung von 10 auf 5Gbit. Aber wieso das mit dem virtuellen Synology so viel besser läuft..

    Vielleicht liegt es daran, dass Synology mit dem btrfs keinen sync=always gesetzt hat. Stelle ich das bei freenas aus, habe ich auch viel höhere Übertragungsraten. Aber dann muss ich auch kein freenas/zfs einsetzen. Ich konnte aber noch nicht rausfinden, ob sync=always gesetzt ist, wenn btrfs zum Einsatz kommt. Habe aber auch nicht allzu lange gesucht.

    Ich hatte auch schon probiert, freenas mit einem direkten Kabel mit meinem Client zu verbinden mit dem selben Ergebnis, aber halt auch wieder mit dem 5Gbe Zipfel Adapter und im freenas eine 10Gbe Karte, die auch 5Gbe kann.

    Es könnte aber auch die SSD sein, die ich als slog verwendet habe. Bei einem kurzen Test im virtualisierten synology hatte ich mit dieser SSD auch einen ähnlich schlechten Durchsatz. Mir fehlt im Moment aber die Zeit und Motivation, da weiter zu forschen. Und SSDs habe ich auch nicht unendliche viel rumliegen :gap

    Jepp, das virtuelle synology NAS läuft der gleichen Hardware wie freenas gelaufen ist

    Einzig ein USB Stick für den ESX Host ist hinzugekommen.

    Finde ich auch, dass freenas mit meinem Setup eigentlich recht performant laufen müsste :scheisse


    Achja, nachdem ich noch Jumboframes aktiviert habe auf dem ESX Host und im Synology NAS, ist der Durchsatz nochmals gestiegen. Aktuell übertrage ich am Limit der 5Gbit Netzwerkkarte, was knapp 400MB/s entspricht. Werde noch einen SSD Cache ausprobieren, ob damit die read Perfomance noch gesteigert werden kann.


    Wegen dem freenas Setup:

    Vielleicht ist/war einfach die Konstellation von supermicro Mainboard, freenas, meinem Windows 10 Client und der 5GBit USB Zipfel Netzwerkkarte einfach scheisse?

    Ich glaub, ich bleib beim virtuellen synology NAS :cheers

    Habe die "langsamen" WD Red Platten nun in virtualisiertes Synology NAS (xpenology, Image vom DS3617xs) eingebaut und einen Raid 5 ähnlichen Verbund erstellt.

    Der Performance Unterschied ist wie Tag und Nacht :eeeek


    Ich weiss, hier geht es um Freenas/ZFS, aber ich möchte doch gern festhalten, dass die Platten im "richtigen" System recht performant sein können.
    Und ja, ich weiss, die Sicherheiten, die ZFS bietet, werde ich so nicht haben mit meinem aktuellen Setup ;)

    Testweise hatte ich mal 4 x 250GB Samsung Evo 850 eingebaut und einen RaidZ oder RaidZ2 Pool erstellt, Sync=alway, NVME SSD als SLOG.

    Habe zwar nicht intensiv testen können, aber ich konnte jedesmal mit knapp 400MB/s kopieren.


    Ich werde vermutlich Samsung Evo 860er SSDs holen. DIe scheinen auch beim intensiveren Schreibvorgängen nicht einzubrechen.

    SSDs fürs Datacenter sind mir preislich sind mir leider zu teuer. Von daher werden es wohl Consumer SSDs werden.


    Das mit dem Löschen hat was, aber ich vertraue jetzt einfach mal auf die Tools der Hersteller, dass es dann schon richtig gelöscht ist :gap

    Hab die zwei neueren 2TB WD Red Platten mal zum Testen in mein altes Synology NAS gepackt und da habe ich auch eher tiefe Werte beim Kopieren, siehe Anhang.

    MIt den 4TB WD Red, die vorher im Synology NAS waren, hatte ich durchgehend fast das Maximum was über 1Gbit geht.


    Ich lass jetzt das mit den Platten sein und hol mir 4 SSDs als Datenpool. Die hört man wenigstens nicht beim Zugriff :D

    Achso, ok. Dann lasse ich es mal eingeschaltet und die Kiste laufen :)


    Hmmmm, müsste mal schauen, ob der günstige Netgear Switch das kann. Merci für den Hinweis ;)


    Jumboframes habe ich im Freenas am entsprechenden Port, an der Client Netzwerkkarte und auch am Switch selbst auf den beiden Ports aktiviert. Sollte doch eigentlich genügen?


    Ja, das ist mir bewusst. Später soll es dann eine SSD mit PLP werden, die dann wenigstens noch die Daten ins Log schreiben kann, wenn mal der Strom weg ist.

    Schreibmodus ist immer sync=always, darum auch ein slog, sonst habe ich nur mit den Disks so 20 - 30 MB/s Durchsatz :rolleyes (Ich weiss, slog ist kein Schreibcache, aber schneller wirds damit trotzdem)

    So kleinere Dateien werden bei mir meist auch zügig übertragen, ohne dass der Durchsatz zusammenbricht.

    Aber wenn ich was grösseres rüberschiebe, so 40 bis 100GB, ist der Durchsatz recht unterschiedlich.

    Hmmm, das mit den SMR/CMR Platten könnte vielleicht noch was sein. Habe zwar bei brack extra die WD Red Plus bestellt und die Artikel Nummer würde auch zu CMR passen (WD20EFRX statt WD20EFAX).


    Die Kiste lief nicht all zu lange. Hatte sie auch mehrfach schon gebootet. Ist Autotune per Default nicht inaktiv? Hatte es mal eingestellt und etwas laufen lassen. Tunables wurden dann gleich automatisch eingetragen - irgendwie schon ne coole Sache :cheers

    Jumboframes ist überall aktiv. 300MB/s wären schon ok, der angeschlossene Client kann eben nur 5GBit/S :gap (max 3,4 GBit/s, gemessen mit iperf). Und mit einem NVME Raid0 Pool komme ich auch auf das Maximum von 3,4Gbit/s


    Als slog ist aktuell eine Samsung PM981 im Einsatz. Die lag grad rum, wollte zum Testen nicht grad eine schweineteure Optane Karte kaufen.


    Ich teste die WD Red Platten mal einzeln an einem anderen System.

    Und sonst baue ich halt 4 SATA SSDs ein :O

    Mit dem GUI kann ich gut leben, vor allem wird es mit truenas noch etwas besser.

    Was hast Du für Festplatten und wie ist Deine Pool Konfiguration?


    Im Einsatz ist momentan folgende Hardware:

    - Supermicro X10SDV-4C-TLN2F Mainboard (Xeon D-1521 CPU, 2 x 10GBbit NIC)

    - 64 GB ECC RAM

    - 4 x 2TB WD Red (CMR)

    - 2 x Samsung NVME SSD


    Mit den WD Red werde ich aber nicht glücklich. Teils habe ich dank SLOG gut 300MB/s durchsatz beim Kopieren grosser Dateien und teils sackt dann der Durchsatz auf 120MB/s runter.

    Sind die WDs wirklich so grottenschlecht?


    Achso ja, als Pool habe ich schon RaidZ, RaidZ2 und Mirror probiert. Alles in etwa mit dem gleichen Ergebnis wie oben beschrieben.

    Der Thread hier ist zwar schon etwas älter, aber ich erlaube mir mal, den zu missbrauchen :)


    Gibt es hier noch andere user, die auf freenas unterwegs sind?

    Wenn ja, was für Hardware und read/write Werte habt ihr so?

    Für einen gescheiten Noctua oder sonstigen Kühler ist schlichtweg kein Platz vorhanden. Der Noctua NH-L9a ist das höchste der Gefühle, das da reinpasst. Und der performt leider nicht besser als die AIO :gap Die Alternative wäre der Alpenföhn Blackridge, aber der geht erst richtig ab mit einem 120mm Lüfter und es muss dann zwinged VLP RAM verbaut werden. Ob er überhaupt aufs Mainboard passt, ist dann eine andere Frage.


    Hatte auch die Asetek 645LT AIO im Einsatz, aber auch da ist die Enermax AIO besser.


    Im Moment kämpfe ich noch mit den Schläuchen und dem AC-DC Netzteil. Der eine Radius scheint etwas sehr klein zu sein, wenn ich alles reinquetsche. Mal schauen, vielleicht komme ich noch günstig an eine Alphacool 120mm AIO, wo man die Anschlüsse wechseln kann.


    tmi1wxO.jpg

    Sehr eng sogar.

    Dort wo die AIO, bzw. der Radi jetzt ist, wäre eigentlich das SFX Netzteil. Die AIO könnte auch auf der anderen Seite neben der Grafikkarte verbaut werden, aber dann ginge nur eine kurze ITX-Format Grafikkarte rein (max 17cm) und die waren zu dem Zeitpunkt grad schlecht verfügbar (RTX 2060 Super, 2070) :gap

    Habe schon seit einiger Zeit ein DAN Case A4-SFX Gehäuse, welches Anfangs mit einem I7 6700 und luftgekühlt betrieben wurde.

    Mittlerweile ist aber eine AIO Wasserkühlung und ein Ryzen 5 3600 verbau.


    Habe zwar kein Buildlog als solches, aber heute kam das HDPlex AC-DC Netzteil an, welches ich ins Gehäuse bauen wollte. Platz ist ja beim A4-SFX eigentlich kaum vorhanden und die AIO nimmt auch ordentlich Platz weg (hätte ich doch bloss eine Custom Wakü mit gewinkelten Anschlüssen am Radi). Aber irgendwie konnte ich das Netzteil trotzdem reinwürgen:

    jm9rkUB.jpg


    Als Grafikkarte kommt eine kürzere Inno3D RTX2070 zum Einsatz, sonst wäre gar kein Platz vorhanden.

    Rechts neben der Grafikkarte das DC-ATX Netzteil von HDPlex und gleich anschliessend das AC-DC Netzteil. Angeschraubt ist nichts, sondern einfach reingeschoben und festgeklemmt.



    OJlcHg7.jpg


    Im Moment fehlen alle Abdeckungen vom Gehäuse, da ich wissen wollte, ob es überhaupt noch läuft


    cWvNdzl.jpg


    Kpdqx4k.jpg


    Und bei der AIO Pumpe/Kühlereinheit fehlt der Deckel, da sie mit Deckel zu hoch ist und die Abdeckung vom Gehäuse nicht mehr passt


    Folgende Komponenten sind im Moment verbaut:

    - Asus AM4 ITX Mainboard mit B450 Chipsatz

    - Ryzen 5 3600

    - Inno3D RTX2070 mit Noctua Lüfter

    - Enermax 120mm AIO Wakü

    - 400W HDPlex Netzteile


    Nächste Schritte:

    - Alle Abdeckungen vom Gehäuse wieder draufmachen

    - Testen wie sich die Temperaturen verhalten