Wegen dem freenas Setup:
Vielleicht ist/war einfach die Konstellation von supermicro Mainboard, freenas, meinem Windows 10 Client und der 5GBit USB Zipfel Netzwerkkarte einfach scheisse?
So weit ich das sehe, bietet das Supermicro Board eigentlich alles, so wie es Freenas auch mag.
Ich sehe da eher die Zipfel Netzwerkkarte, bzw die Umsetztung von 10 auf 5Gbit. Aber wieso das mit dem virtuellen Synology so viel besser läuft..
Alles anzeigenHi kaioken
Also glaube bist nicht der Einzige der mit solchen Problemen kämpft.
Wollte letzten Donnerstag mit recht grosser Überzeugung, mein W2k16 Server auf Unraid/Proxmox umstellen!
Stellte einfach fest dass ZFS ohne SSD einfach scheisse performt 20mb/s und so...... dann hab ich noch eine SSD rein gepackt für Cache, siehe da 30-40Mb/s -.-
Schlussendlich hab ich mich wieder entschieden alles auf ESXi zu Virtualisieren. Nun funzt es auch wie ich es gerne möchte ^^
Hardware konfig ist einwenig anderst........
AMD 2700x
64GB Ram
4x6TB WD Reds
500GB NVMe Samsung evo
GTX 1060
und nur Gbit leitig -.-
Gruss
Ok, 40MB/s sind echt wenig! 
Und ich nerv mich noch wegen den 120 - 180MB/s 
Im freenas Forum kommt oft der Vorschlag, dass man doch einfach noch ein paar Disks hinzupacken soll, wenn die Performance nicht stimmt.
Scheinbar fängt der Spass erst ab 8 Disks an, am besten noch mit gesplitteten Mirror und mehreren slog SSDs rumprobieren.
So weit ich das sehe, bietet das Supermicro Board eigentlich alles, so wie es Freenas auch mag.
Ich sehe da eher die Zipfel Netzwerkkarte, bzw die Umsetztung von 10 auf 5Gbit. Aber wieso das mit dem virtuellen Synology so viel besser läuft..
Vielleicht liegt es daran, dass Synology mit dem btrfs keinen sync=always gesetzt hat. Stelle ich das bei freenas aus, habe ich auch viel höhere Übertragungsraten. Aber dann muss ich auch kein freenas/zfs einsetzen. Ich konnte aber noch nicht rausfinden, ob sync=always gesetzt ist, wenn btrfs zum Einsatz kommt. Habe aber auch nicht allzu lange gesucht.
Ich hatte auch schon probiert, freenas mit einem direkten Kabel mit meinem Client zu verbinden mit dem selben Ergebnis, aber halt auch wieder mit dem 5Gbe Zipfel Adapter und im freenas eine 10Gbe Karte, die auch 5Gbe kann.
Es könnte aber auch die SSD sein, die ich als slog verwendet habe. Bei einem kurzen Test im virtualisierten synology hatte ich mit dieser SSD auch einen ähnlich schlechten Durchsatz. Mir fehlt im Moment aber die Zeit und Motivation, da weiter zu forschen. Und SSDs habe ich auch nicht unendliche viel rumliegen 
hat man bei freenas nicht 3 optionen?
ich hab es bei mir auf standard
hat man bei freenas nicht 3 optionen?
- Standard (intend log wird geschrieben, dann daten auf festplatte und konsistenzcheck)
- sync = always (es wird alles direkt auf die Platten geschrieben)
- Sync=disabled
ich hab es bei mir auf standard
Im xigmanas.com Forum gefunden. XigmaNas verwendet ja auch ZFS als Untersatz:
standard = ZFS will sync writes when the app asks for it (ESXi always syncs, at least on NFS)
always = ZFS will sync every write to disk immediately, even if ESXi (or whatever app) doesn't ask for it.
disabled = ZFS won't sync writes whether asked or not. In case of a crash, you will lose a few seconds of writes.
=>https://www.xigmanas.com/forums/viewtopic.php?t=5887
Ich glaub bei SMB Share Zugriff via Windows Client z.B. bewirkt die Einstellung "Standard", dass Daten asynchron geschrieben werden, also guter Durchsatz. Die Standardeinstellung bei einem neuen Share ist ja die Einstellung "Standard".
Beim Rumprobieren am Anfang habe ich die Einstellung öfters vergessen zu ändern und mich immer gewundert, warum der neue Pool plötzlich einen so guten Durchsatz bringt
Stell doch mal bei Dir auf Always um. Wäre witzig zu sehen, ob der Durchsatz immer noch so hoch ist 
A
Stell doch mal bei Dir auf Always um. Wäre witzig zu sehen, ob der Durchsatz immer noch so hoch ist
Zack und weg ist der Durchssatz.
Nix mehr mit ~500MB/s
Nur noch ~40MB... ist ein Verband mit nur drehenden Platten.
Das ist ja krass.
Bei ZFS scheint es so zu sein, wie beim Auto: Hubraum ist durch nichts zu ersetzen wie durch mehr Hubraum.
Willst Du bessere Performance? Dann bau mehr Platten ein. Klar, sehr schnelle SSDs als Log Device bringen sicher war (NVME mit niedriger Latenz), aber am Schluss muss die Ware auf den mechanischen Platten landen und dort scheint halt der Flaschenhals zu sein?!
Interessant wäre es noch zu sehen, wie gross der Unterschied wird, wenn ich z.B. die WD Red durch WD Red Pro ersetzen würde - 5400rpm vs. 7200rpm. Vermutlich wäre schon eine Steigerung vorhanden, aber nicht so extrem, dass ich jetzt plötzlich am Limit der Netzwerkkarte bin
Mich hat das Thema Freenas irgendwie nicht losgelassen und ich habe nochmals paar Sachen getestet.
Konnte einen günstigen HBA kaufen, welcher sehr von der Freenas Community empfohlen wird (ServeRaid M1015 als LSI 9211-8I IT geflasht). Dieser alleine hat zwar keine spürbare Performance gebracht, aber als ich dann die Samsung PM981 NVME SSD durch eine gewöhnliche Samsung Evo 860 SATA SSD, angeschlossen am HBA direkt, ersetzt habe, hatte ich plötzlich sehr stabile Übertragungsraten von über 230MB/s und zwar konstant.
Mit der NMVE als SLOG fing die Übertragung immer mit gut 380MB/s an, sackte kurz darauf auf 300 runter, um dann nach ein paar GB am Schluss mit 110-140MB/s rumzugurken.
Die nächste Investion wird wohl eine NVME SSD sein, die etwas robuster ist (Intel Optane, Samsung / Kingston DC Serie, halt irgendwas mit PLP und robusteren Speicherzellen)
Falls wer eine Intel Optane PCIe SSD rumliegen hat, bitte melden
Habe noch 4 Stk. Intel® Optane™ Speicher (32 GB, M.2/80 mm, PCIe 3.0, 20 nm, 3D Xpoint™) Produktspezifikationen rumliegen.
Schaffen halt nur 1350MB/s lesen + 290MB/s schreiben, dafür auch mit 4k random QD1 und ohne irgendwelche Performanceinbussen (bevor sie nach ca. 100s schreiben voll ist)
Sollte als SLOG gut geeignet sein.
Hat kein PLP aber das ist afaik eh hinfällig, da sie keinen Cache hat.
Was ich dir noch empfehlen kann ist die TrueNAS Core RC zu testen. Da wurden ziemlich viele Performancverbesserungen von OpenZFS 2.0 implementiert: TrueNAS 12.0-RC1 - iXsystems, Inc. - Enterprise Storage & Servers
Merci fürs Angebot ruffy, aber ich habe gestern spontan eine 58GB Optane 800P SSD gekauft und heute grad eingebaut.
Läuft recht gut und bringt nochmals einen Performance Schub.
Truenas 12 Beta hatte ich ganz am Anfang installiert. Aber eben, es war halt die Beta Version. Solange noch keine finale Version draussen ist, bleibe ich bei freenas 11.3-U5.
Kurzes Update:
Habe testweise mit 4 Samsung Evo 870 SATA SSDs einen Pool erstellt (sync=always), ohne Slog Device und der sequentielle Durchsatz via SMB/iSCSI bewegt sich am Schnittstellenlimit von 10GBit, also zwischen 0.9 und 1,1GB/s
Beim Schreiben von vielen kleinen Dateien ist die Performance vom Pool aber vergleichbar mit der vom Pool mit 4xWD Red und Optane SLOG, also etwas über 300MB/s.
