ZFS / FreeNAS Erfahrungen

  • Hallo zusammen


    Da ja ZFS und seine Implementierung hier mal als die nächste Generation hochgelobt wurden, habe ich das auch mal ausprobiert. Habe die sehr bekannte Implementation FreeNAS gewählt, die Ergebnisse sind aber realtiv ernüchternd.


    FreeNAS finde ich weniger intuitiv in der Bedienung, es gibt sehr viele Sachen, die sind im GUI überhaupt nicht sichtbar, sehr kompliziert und/oder werden schlicht falsch dargestellt.


    Beispiel: Ich möchte, dass der Smart Status ausgelesen wird;


    - Muss man im Menü A aktivieren
    - im Menü B schedulen, aber im Smart Scheduler, nicht im Cron Job Scheduler.
    - Resultate werden nicht ausgegeben, sondern können nur als Email versandt werden oder per CLI angeschaut werden.
    - Wenn du einen Controller hast, der nicht den richtigen Treiber hat, wirst du nie bemerken, dass SMART gar nicht läuft, denn die Platten werden immer als Healthy angezeigt, wenn die SMART Werte nicht ausgelesen werden können.



    So verhält es sich mit vielem anderen auch, beispielsweise habe ich es noch nicht geschafft, das Ding in einem 2012er AD Domain einzuhängen.



    Nun aber zum wirklich negativen Teil. Scheinbar wird mein RAID Controller, der als JBOD läuft, nicht korrekt unterstützt. Dies war aber weder bekannt, noch sichtbar, noch gab es eine Warnung oder sonstwas. Das Ding lässt sich ohne weiteres installieren und in Gang bringen. Nun lustig wird es, wenn sich die Pools füllen. Dann zerfällt das Filesystem in seine Einzelteile und die ULTRAROBUSTEN Uberblöcke können sich nicht mehr syncen. Fazit: Ist der Pool zu voll, geht er flöten. Das ganze fällt natürlich nicht vorher auf, also meine Install lieft jetzt ca. 1 Jahr ohne Probleme, weil der Füllstand niemals so hoch war.
    Controller wechseln ist nicht, da die volumes das wohl nicht überleben werden. Die "defekte" Disk rausnehmen auch nicht, da sich dann Filesystem komplett aufhängt.



    - Also mein Fazit von FreeNAS:


    - Kontrolliere deine HW hoch und runter, ob du wirklich die richtige Karte mit der richtigen FW und dem richtigen Setting hast. Auch wenn es so aussieht, als würde es gehen, kann es dich immer noch übel verarschen.
    - Genug HW Leistung, sonst kackt das System immer ab. 8 GB RAM müssen sein, auch wenn du Dedupe und Compression nicht einsetzen willst. Von mir aus gesehen völlig überproportionierter HW Hunger.
    - Mach deine Backups auf eine andere Kiste ohne ZFS ;)
    - Alle Versprechen, unabhängig von HW und OS zu sein, wurden nicht wirklich eingehalten. Controllerwechsel und HD Wechsel klappen nicht wirklich.




    Nun, mein Lehrgeld sind 4 TB Serien und Filme, die nicht gebackupt sind, den Rest habe ich natürlich noch auf anderen Systemen gebackupt.



    Falls sich jemand das trotzdem antun will, lasst euer Setup am besten vorher im FreeNAS Forum validieren.


    Für mich ist wieder mal klar geworden, wenn jemand Enterprise Grade Features und super Speed mit commodity hardware verspricht, dann kann etwas sicher nicht stimmen :)

    Bremsen macht die Felge dreckig!
    Mitglied der PC4all Schlägertruppe!!!
    DutcheKa (04:41 PM) : aye, skipper ;)
    ...Weasel stopped DLS spamming-spree!
    "National sein heisst nicht, fremde Völker hassen, sondern das eigene Volk lieben." Peter Rosegger (1843 - 1918)
    Unbent, Unbowed, Unbroken! ©Hammerfall 2005 - Pain is temporary, Pride is forever ©? - ONE SHALL STAND. ONE SHALL FALL.©The Transformers 1984


    Meine Ricardo-Auktionen!

  • Noch ein Bonus dazu. Wenn dein Pool ein Problem hat mit einem Block, dann hängen alle Pools auf dem ganzen NAS. Nicht gerade geil, wenn du von einem Pool in den anderne kopierst. Und mit hängen meine ich schon eine Minute ohne I/O,


    Und gerade ausprobiert, eine Platte gibt hard errors an. Sagen wir, wir simulieren den Tod der Platte und ziehen die aus dem HotPlug Schacht (macht man ja so bei Storage und RAID -Systemen). ZFS gibt dann 20 Sekunden Text auf der Konsole aus, mehrere 1000 Zeilen, dann Kernel Panic und automatischer Reboot. Nicht gerade, was ich von neuen UBER-Filesystem erwarte. Da verhält sich noch MDADM kulanter :)

    Bremsen macht die Felge dreckig!
    Mitglied der PC4all Schlägertruppe!!!
    DutcheKa (04:41 PM) : aye, skipper ;)
    ...Weasel stopped DLS spamming-spree!
    "National sein heisst nicht, fremde Völker hassen, sondern das eigene Volk lieben." Peter Rosegger (1843 - 1918)
    Unbent, Unbowed, Unbroken! ©Hammerfall 2005 - Pain is temporary, Pride is forever ©? - ONE SHALL STAND. ONE SHALL FALL.©The Transformers 1984


    Meine Ricardo-Auktionen!

  • ehm hast du wirklich etwas besseres von einem software raid erwartet?!?
    ist doch logisch, wenn du keine 1000.- für hw raid controller ausgeben willst, tut es eine software lösung für 0.- genauso gut....

    "Gegen Stimmen im Kopf gibts Medikamente." by 2cool4u 15.03.2011 21:31
    "Bin zur Baustelle gelaufen da in einer Nebenstrasse, ging zum Baggerführer erklärte was ich machen möchte. Dieser fragte was das für eine Karte sei ect.
    Er zückte 250.-SFr und hat mich noch zum Kaffee eingeladen." by Rezzer 17.3.2014 23:10 (ging um eine GTX580)

  • 1. ZFS ist kein RAID
    2. Software RAID ist auch nicht gleich Software RAID
    3. Es gibt viele gute Software RAID Implementationen, die 100% stabil sind, dass ist nicht das Problem. Allerdings sind die nicht open source.

    Bremsen macht die Felge dreckig!
    Mitglied der PC4all Schlägertruppe!!!
    DutcheKa (04:41 PM) : aye, skipper ;)
    ...Weasel stopped DLS spamming-spree!
    "National sein heisst nicht, fremde Völker hassen, sondern das eigene Volk lieben." Peter Rosegger (1843 - 1918)
    Unbent, Unbowed, Unbroken! ©Hammerfall 2005 - Pain is temporary, Pride is forever ©? - ONE SHALL STAND. ONE SHALL FALL.©The Transformers 1984


    Meine Ricardo-Auktionen!

  • Der Thread hier ist zwar schon etwas älter, aber ich erlaube mir mal, den zu missbrauchen :)


    Gibt es hier noch andere user, die auf freenas unterwegs sind?

    Wenn ja, was für Hardware und read/write Werte habt ihr so?

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!

  • jap, ich bin seit 5 jahren aktiv mit freenas und nem backups freenas system unterwegs.


    ich kan dem ersteller zustimmen, dass die gui nicht so wirklich intuitiv ist. aber freenas basiert auf set it and forget it.

    Meine Kisten habe ich nach dem fertigen aufsetzen auch nicht mehr anfassen müssen.


    Freenas ist ein enterprise OS, welches auch enterprise hardware haben möchte.

    Sollte also schon ein intel NIC sein und ECC Ram >8gb


    PS: Mache nicht den gleichen fehler wie der ersteller und nutze eine RAID Karte. Freenas braucht direkten zugriff auf die HDD/SSD. Wenn raidcontroller, dann in IT-Mode flashen!!!

  • Mit dem GUI kann ich gut leben, vor allem wird es mit truenas noch etwas besser.

    Was hast Du für Festplatten und wie ist Deine Pool Konfiguration?


    Im Einsatz ist momentan folgende Hardware:

    - Supermicro X10SDV-4C-TLN2F Mainboard (Xeon D-1521 CPU, 2 x 10GBbit NIC)

    - 64 GB ECC RAM

    - 4 x 2TB WD Red (CMR)

    - 2 x Samsung NVME SSD


    Mit den WD Red werde ich aber nicht glücklich. Teils habe ich dank SLOG gut 300MB/s durchsatz beim Kopieren grosser Dateien und teils sackt dann der Durchsatz auf 120MB/s runter.

    Sind die WDs wirklich so grottenschlecht?


    Achso ja, als Pool habe ich schon RaidZ, RaidZ2 und Mirror probiert. Alles in etwa mit dem gleichen Ergebnis wie oben beschrieben.

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!


  • sei froh, wenn du noch CMR hast. neu produzierte unter 8TB sind meist die SMR Platten. Aufpassen beim neukauf!



    eigentlich kann ich mich nicht beklagen mit meinem 1GBE bin ich konstant am limit (115mb/s) egal ob lesen oder schreiben.


    Wie lange lief deine kiste?

    Freenas hat autotune, somit lernt und stellt es sich mit der zeit selbst ein.



    Jumboframes aktiviert?


    was hast du als slog benutzt?



    Raid Zx ist eigentlich immer etwas langsamer, als das gespiegelte (desto grösser x desto langsamer) aber eigentlich sollte schon deutlich mehr bei rauskommen, als die 300 resp. 120 mb/s

  • Hmmm, das mit den SMR/CMR Platten könnte vielleicht noch was sein. Habe zwar bei brack extra die WD Red Plus bestellt und die Artikel Nummer würde auch zu CMR passen (WD20EFRX statt WD20EFAX).


    Die Kiste lief nicht all zu lange. Hatte sie auch mehrfach schon gebootet. Ist Autotune per Default nicht inaktiv? Hatte es mal eingestellt und etwas laufen lassen. Tunables wurden dann gleich automatisch eingetragen - irgendwie schon ne coole Sache :cheers

    Jumboframes ist überall aktiv. 300MB/s wären schon ok, der angeschlossene Client kann eben nur 5GBit/S :gap (max 3,4 GBit/s, gemessen mit iperf). Und mit einem NVME Raid0 Pool komme ich auch auf das Maximum von 3,4Gbit/s


    Als slog ist aktuell eine Samsung PM981 im Einsatz. Die lag grad rum, wollte zum Testen nicht grad eine schweineteure Optane Karte kaufen.


    Ich teste die WD Red Platten mal einzeln an einem anderen System.

    Und sonst baue ich halt 4 SATA SSDs ein :O

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!

  • Beim mir laufen 6 10er WD Reds in einem RaidZ2 Pool.

    Ganz ähnliche Hardware.

    Kurzfristig kann ich da mal 1GB/s rauf/runter laden. Nach ca. 500MB fällt es auf ~500MB/s. Die hält es aber ohne grosse Probleme.

    Ganz einfache Tests mit so 8GB Files.

    Gestalten des Lichts werfen die dunkelsten Schatten. Dunkle Kreaturen gar keine.

  • So kleinere Dateien werden bei mir meist auch zügig übertragen, ohne dass der Durchsatz zusammenbricht.

    Aber wenn ich was grösseres rüberschiebe, so 40 bis 100GB, ist der Durchsatz recht unterschiedlich.

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!

  • autotune resp. tune tables braucht etwa eine woche zum einstellen.

    hast du an deinem switch einen hardware monitor o.ä. dass du mal schauen kannst, wie die auslastung ist?


    wenn du 2 unterschiedliche speeds in deinem netzwerk hat, muss der switch recht viel arbeiten. vielleicht kommt der bei den daten an eine grenze?


    ps: sicher, dass alle teilnehmer im netzwerk jumbo frames können?

    pps: bzgl. slog, einfach im hinterkopf halten, wenn strom weg und du grade am schreiben bist, sind die daten futsch.

    auch der schreibmodus muss angepasst werden asynchron vs synchron: https://www.ixsystems.com/blog…configure-zfs-intent-log/



    hab bei 50% mal nen screenshot von meinem VM backup gemacht. bei den kleinend ateien sinkt es schon auf 80 ab, sonst ist es aber recht konstant bei 110


    2 Mal editiert, zuletzt von gdh ()

  • Achso, ok. Dann lasse ich es mal eingeschaltet und die Kiste laufen :)


    Hmmmm, müsste mal schauen, ob der günstige Netgear Switch das kann. Merci für den Hinweis ;)


    Jumboframes habe ich im Freenas am entsprechenden Port, an der Client Netzwerkkarte und auch am Switch selbst auf den beiden Ports aktiviert. Sollte doch eigentlich genügen?


    Ja, das ist mir bewusst. Später soll es dann eine SSD mit PLP werden, die dann wenigstens noch die Daten ins Log schreiben kann, wenn mal der Strom weg ist.

    Schreibmodus ist immer sync=always, darum auch ein slog, sonst habe ich nur mit den Disks so 20 - 30 MB/s Durchsatz :rolleyes (Ich weiss, slog ist kein Schreibcache, aber schneller wirds damit trotzdem)

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!

  • Hab die zwei neueren 2TB WD Red Platten mal zum Testen in mein altes Synology NAS gepackt und da habe ich auch eher tiefe Werte beim Kopieren, siehe Anhang.

    MIt den 4TB WD Red, die vorher im Synology NAS waren, hatte ich durchgehend fast das Maximum was über 1Gbit geht.


    Ich lass jetzt das mit den Platten sein und hol mir 4 SSDs als Datenpool. Die hört man wenigstens nicht beim Zugriff :D

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!

  • das ist echt ein verdammt mieser wert.


    bin gespannt, was du bei den ssds für werte bekommst.

    An welche hast du gedacht?



    seitdem die preise dafür purzeln habe ich auch drüber nachgedacht, hab es aber verworfen, weil man ssds eigentlich nicht ordentlich gelöscht bekommt, sodass sie noch zum wiederverkauf taugen.

  • Testweise hatte ich mal 4 x 250GB Samsung Evo 850 eingebaut und einen RaidZ oder RaidZ2 Pool erstellt, Sync=alway, NVME SSD als SLOG.

    Habe zwar nicht intensiv testen können, aber ich konnte jedesmal mit knapp 400MB/s kopieren.


    Ich werde vermutlich Samsung Evo 860er SSDs holen. DIe scheinen auch beim intensiveren Schreibvorgängen nicht einzubrechen.

    SSDs fürs Datacenter sind mir preislich sind mir leider zu teuer. Von daher werden es wohl Consumer SSDs werden.


    Das mit dem Löschen hat was, aber ich vertraue jetzt einfach mal auf die Tools der Hersteller, dass es dann schon richtig gelöscht ist :gap

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!

  • Habe die "langsamen" WD Red Platten nun in virtualisiertes Synology NAS (xpenology, Image vom DS3617xs) eingebaut und einen Raid 5 ähnlichen Verbund erstellt.

    Der Performance Unterschied ist wie Tag und Nacht :eeeek


    Ich weiss, hier geht es um Freenas/ZFS, aber ich möchte doch gern festhalten, dass die Platten im "richtigen" System recht performant sein können.
    Und ja, ich weiss, die Sicherheiten, die ZFS bietet, werde ich so nicht haben mit meinem aktuellen Setup ;)

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!

  • das virtualisierte synology läuft auf der hardware?


    - Supermicro X10SDV-4C-TLN2F Mainboard (Xeon D-1521 CPU, 2 x 10GBbit NIC)

    - 64 GB ECC RAM

    - 4 x 2TB WD Red (CMR)


    eigentlich müsste freenas rennen wie sau, die 64gb ram sind absolut ausreichend.

    das ist richtig schräg

  • Jepp, das virtuelle synology NAS läuft der gleichen Hardware wie freenas gelaufen ist

    Einzig ein USB Stick für den ESX Host ist hinzugekommen.

    Finde ich auch, dass freenas mit meinem Setup eigentlich recht performant laufen müsste :scheisse


    Achja, nachdem ich noch Jumboframes aktiviert habe auf dem ESX Host und im Synology NAS, ist der Durchsatz nochmals gestiegen. Aktuell übertrage ich am Limit der 5Gbit Netzwerkkarte, was knapp 400MB/s entspricht. Werde noch einen SSD Cache ausprobieren, ob damit die read Perfomance noch gesteigert werden kann.


    Wegen dem freenas Setup:

    Vielleicht ist/war einfach die Konstellation von supermicro Mainboard, freenas, meinem Windows 10 Client und der 5GBit USB Zipfel Netzwerkkarte einfach scheisse?

    Ich glaub, ich bleib beim virtuellen synology NAS :cheers

    ... mir ist beim Lesen auch gleich das Monokel ins Martini-Glas gefallen!

  • Hi kaioken


    Also glaube bist nicht der Einzige der mit solchen Problemen kämpft.

    Wollte letzten Donnerstag mit recht grosser Überzeugung, mein W2k16 Server auf Unraid/Proxmox umstellen!

    Stellte einfach fest dass ZFS ohne SSD einfach scheisse performt 20mb/s und so...... dann hab ich noch eine SSD rein gepackt für Cache, siehe da 30-40Mb/s -.-


    Schlussendlich hab ich mich wieder entschieden alles auf ESXi zu Virtualisieren. Nun funzt es auch wie ich es gerne möchte ^^


    Hardware konfig ist einwenig anderst........

    AMD 2700x

    64GB Ram

    4x6TB WD Reds

    500GB NVMe Samsung evo

    GTX 1060

    und nur Gbit leitig -.-


    Gruss