Dateisysteme

  • Es gibt ja unter Windows nur das NTFS das sich als Dateiablage rentiert bzw Windows überhaupt unterstützt. Ich dachte mir nun, wieso nicht ein Ubuntu (neuste 64bit) aufsetzen und da so ein Dateisystem verwenden das ja (viel?) besser sein sollte wie NTFS. Ein tweaker hier hat glaub ich sogar so ein Linuxsystem als Fileserver am laufen?



    Wie ich gehört habe seien zfs, xfs, reiser4 oder ext4 die Dateisysteme die gut dazu geeignet sind. Nun ein paar Fragen:


    - Passt Ubuntu? (Hab am meisten Erfahrung damit)
    - Welches Dateisystem empfiehlt ihr mir?
    - Was sind da so für Performance Vorteile zu erwarten?
    -> Oder anders: gibt es überhaupt Performance Vorteile unter diesen "eco" Platten? (habe momentan ~80mb/s durchschnittlich unter NTFS).
    - Windows und Mac sollten doch keine Probleme haben beim Zugriff auf die Platten/Shares?

    Gaming: AMD Ryzen 5 2600X, MSI B450M, 32GB RAM, Sapphire RX6900XT Nitro+ SE, 4TB SSD, 10TB HDD, Win11, Samsung Odyssey G7 32" 1440p@165Hz
    Server: AMD Ryzen 5 3600, Gigabyte B450M4, Quadro P400, 16Gb RAM, 500GB SSD, Plex Encoder

    Storage: Intel i3 3220T, ASRock Z77 Pro4, 4Gb RAM, 111 TB Storage (Seagate Exos), Plex Storage

  • ZFS unter Linux: Noch nicht wirklich gut verwendbar.


    Ich würde dir Ubuntu 10.4 mit ext4 empfehlen. + Samba Filesharing. Kann man auch im UI einrichten (benötigt ggf. zusätzliche Pakete).


    Alternativ vielleicht XFS. Einen besonders grossen Unterschied wird es wohl nicht machen...


    ReiserFS: veraltet

    Marktplatz Bewertung
    Kiste 1: Sloti 800 TB
    Kiste 2: DLT3C @ 2.6GhZ
    ...
    Kiste 7 & Kiste 8: PhII 720BE, 8GB ram. 1x mit X25-m II 80GB & 4870, 1x mit indilinx MLC 32GB

    [SIZE=7]Dieser Beitrag, inkl. vorhandenen Anhängen, ist ungeschützt und könnte während der Übermittlung oder nachträglich von 3. verändert werden. Der Absender schliesst deshalb jede Haftung oder rechtliche Verbindlichkeit für elektronisch versandte Nachrichten aus. Weiter ist der Inhalt des Postings frei erfunden, eventuelle Annäherungen an die Realität sind höchstens unbeabsichtigt und zufällig entstanden. Zu all meinen PCs haben mehrere Leute Zugang und nutzen diesen auch.[/SIZE]

    Einmal editiert, zuletzt von BLJ ()

  • Ich wage mal zu behaupten du wist keinen Unterschied in der Performance merken.


    Ubuntu kannst du gut nehmen, die Library zur Ansteuerung der Filesysteme ist sowieso so ziemlich auf jedem Linux die gleiche.


    Wenn du das mittels Samba freigibst, dann ist es dem Windows relativ egal was für ein Dateisystem es ist, solange er die entsprechenden Berechtigungen hat darauf zuzugreiffen.


    Ich habe jeweis EXT3 verwendet da dies so vorgeschlagen wurde von der Distribution. Beides (Reiser und EXT) sind Journaling Systeme, die haben die unschöne Eigenschaft, dass in - wenn auch extrem kleinen - Zeitlichen Differenzen einen Unterschied zwischen Index und physischer Datei besteht. Wenn der Strom in dem Moment weggeht, wo die Datei schon geschrieben wurde, der Index (eben das Journal) aber noch nicht nachgeführt ist, dann ist die Datei weg... Diese Zeit ist allerdings wahnsinnig klein und meiner Meinung nach im Privaten zu vernachlässigen...


    |---> it MUST be a spoon! <---|


      

  • Zitat

    Original von Xoood
    Beides (Reiser und EXT) sind Journaling Systeme, die haben die unschöne Eigenschaft, dass in - wenn auch extrem kleinen - Zeitlichen Differenzen einen Unterschied zwischen Index und physischer Datei besteht. Wenn der Strom in dem Moment weggeht, wo die Datei schon geschrieben wurde, der Index (eben das Journal) aber noch nicht nachgeführt ist, dann ist die Datei weg... Diese Zeit ist allerdings wahnsinnig klein und meiner Meinung nach im Privaten zu vernachlässigen...


    Jedes Dateisystem hat dieses Problem. Es kann schliesslich nicht gleichzeitig an beiden Orten geschrieben werden.


    Allerdings hast du unrecht mit deiner Beschreibung. Journaling File-System wurden eben gerade erfunden um dieses Problem zu umgehen:


    Zitat

    Ein Journaling-Dateisystem ist ein Dateisystem, welches alle Änderungen vor dem eigentlichen Schreiben in einem dafür reservierten Speicherbereich, dem Journal, aufzeichnet. Damit ist es zu jedem Zeitpunkt möglich, einen konsistenten Zustand der Daten zu rekonstruieren, auch wenn ein Schreibvorgang an beliebiger Stelle abgebrochen wurde. Diese Eigenschaft ist im Fall von Systemabstürzen oder Stromausfällen von Vorteil. So kann die bei herkömmlichen Dateisystemen nach solchen Vorfällen oft automatisch gestartete Überprüfung des ganzen Dateisystems mit oft erfolglosen Reparaturversuchen entfallen. Speziell bei großen Festplatten mit Partitionsgrößen über 100 GByte ergibt sich hieraus auch eine beträchtliche Zeitersparnis beim Booten, da das Überprüfen dieser durchaus mehrere Stunden dauern kann.


    Man unterscheidet zwischen Metadaten-Journaling und Full-Journaling. Während Metadaten-Journaling lediglich die Konsistenz des Dateisystems garantiert, wird beim Full-Journaling auch die Konsistenz der Dateiinhalte gewährleistet. Umgangssprachlich wird oft der allgemeine Begriff des Journaling verwendet, wenn eigentlich Metadaten-Journaling gemeint ist.


    http://de.wikipedia.org/wiki/Journaling-Dateisystem


    Ist fast wie DB Transaction Log ;-)
    http://en.wikipedia.org/wiki/Transaction_log

    Marktplatz Bewertung
    Kiste 1: Sloti 800 TB
    Kiste 2: DLT3C @ 2.6GhZ
    ...
    Kiste 7 & Kiste 8: PhII 720BE, 8GB ram. 1x mit X25-m II 80GB & 4870, 1x mit indilinx MLC 32GB

    [SIZE=7]Dieser Beitrag, inkl. vorhandenen Anhängen, ist ungeschützt und könnte während der Übermittlung oder nachträglich von 3. verändert werden. Der Absender schliesst deshalb jede Haftung oder rechtliche Verbindlichkeit für elektronisch versandte Nachrichten aus. Weiter ist der Inhalt des Postings frei erfunden, eventuelle Annäherungen an die Realität sind höchstens unbeabsichtigt und zufällig entstanden. Zu all meinen PCs haben mehrere Leute Zugang und nutzen diesen auch.[/SIZE]

    3 Mal editiert, zuletzt von BLJ ()

  • Dann werde ich wohl ext4 benutzen und hoffen, dass es einen Vorteil bringt. Ich werde in ein paar Stunde mal berichten ob sich die Performance verbessert hat.

    Gaming: AMD Ryzen 5 2600X, MSI B450M, 32GB RAM, Sapphire RX6900XT Nitro+ SE, 4TB SSD, 10TB HDD, Win11, Samsung Odyssey G7 32" 1440p@165Hz
    Server: AMD Ryzen 5 3600, Gigabyte B450M4, Quadro P400, 16Gb RAM, 500GB SSD, Plex Encoder

    Storage: Intel i3 3220T, ASRock Z77 Pro4, 4Gb RAM, 111 TB Storage (Seagate Exos), Plex Storage

  • wie bereits meine vorredner, bezweifle ich auch eher, dass du einen grossen performance unterschied spürst. die vorteile der linux dateisysteme liegen in anderen bereichen. wie du auch anhand der mittlerweile fast schon unübersichtlichen anzahl an linux dateisystemen entnehmen kannst existieren halt verschiedene dateisysteme für verschiedene anwendungen.


    für eine grobe performance übersicht empfehle ich: Real World Benchmarks Of The EXT4 File-System
    (bemerkung: die ext4 performance ist mit fortschreitender entwicklung ziemlich eingebrochen, für aktuelle benchmarks siehe link unten)


    * ext3: sehr ausgereiftes und stabiles dateisystem; performant in einer vielzahl von anwendungsfällen; wurde jahrelang als standard-dateisystem in den meisten linux distributionen verwendet; kann online vergrössert und verkleinert werden; dump funktionalität für dateisystem backup; sehr robust auch wenn teile der platte überschrieben werden, können unbetroffene dateien oft gerettet werden


    * ext4: nachfolger von ext3; integriert (performance) verbesserungen für grosse/riesige dateien; verbesserter filesystem check, teilweise eher schlechte performance (siehe z.b.: The Performance Of EXT4 Then & Now)


    * xfs: ähnlich wie ext3, teilweise schneller; ebenfalls dump funktionalität; leider nicht so einfach wieder herzustellen bei datenverlust


    * reiser3/4: reiser 3 ist zwar offiziell im kernel, aber nicht mehr gross maintained; schnell für kleine dateien; eher CPU hungrig; reiser 4 hat es nie in den offiziellen kernel geschafft, soll aber sehr performant sein (v.a. bei vielen gleichzeitigen streams); entwicklung mehr oder weniger eingestellt


    * zfs: ist nicht im kernel integriert (wegen lizenz unverträglichkeit), gibt eine möglichkeit via FUSE darauf zuzugreiffen; ist aber nicht sehr performant (mehr ein proof-of-concept)


    * btrfs: linux pendant zum zfs; seit einiger zeit im kernel integriert; bisher noch als "experimental" eingestuft und nicht für den produktiveinsatz empfohlen; verspricht viele neue features wie verschlüsselung, kompression, online snapshots usw.


    wegen den einigen problemen, die bei ext4 in der vergangenheit aufgetaucht sind, bin ich nicht der grösste fan dieses dateisystems. falls es, wie bei dir, um eine fileserver mit "wichtigen" daten handelt würde ich ext3 empfehlen. für deinen zweck ist der performance unterscheid wohl nicht spürbar, aber trotzdem profitierst du von der stabilität und den vielen tools rund um ext3. ausserdem kann ext3 auch von windows aus gelesen und mit etwas vorsicht (da kein journal unterstützt) sogar geschrieben werden (Ext2 IFS, Ext2 FSD).


    gruss ganto


    "Computer games don't affect kids, I mean if Pacman affected us as kids, we'd all run around in a darkened room munching pills and listening to repetitive music."


    Kristian Wilson

  • NTFS ist übrigens auch ein Journaling Dateisystem.


    Was an Ext3 usw. besser sein soll, mal abgesehen davon das es halt keine proprietäre Lösung von Microsoft ist, soll mir mal wer erklären.. ;)

    Signatur sein ist doof, ich will ein Avatar werden, wenn ich gross bin!

  • Zitat

    Original von Mannyac
    Was an Ext3 usw. besser sein soll, mal abgesehen davon das es halt keine proprietäre Lösung von Microsoft ist, soll mir mal wer erklären.. ;)


    weniger fragmentierung z.b.

  • Zitat

    Original von ComBat
    weniger fragmentierung z.b.


    Ernsthaft jetzt? Neigt NTFS stark zum fragmentieren?

    Signatur sein ist doof, ich will ein Avatar werden, wenn ich gross bin!

  • Zitat

    Original von Mannyac
    Was an Ext3 usw. besser sein soll, mal abgesehen davon das es halt keine proprietäre Lösung von Microsoft ist, soll mir mal wer erklären.. ;)


    POSIX kompatibilität und snapshots ;)


    "Computer games don't affect kids, I mean if Pacman affected us as kids, we'd all run around in a darkened room munching pills and listening to repetitive music."


    Kristian Wilson

  • Also Snapshots gehen dank VSS auch.


    POSIX ist so ein Ding, das geht für mich in den Nachteil das es eine proprietäre Microsoft Lösung ist. In der Microsoft Welt aber eigentlich kein wirklicher Nachteil.


    Aber was ich eigentlich meine, rein das Dateisystem ist sicher kein Grund das Betriebssystem zu wechseln. NTFS ist eigentlich ganz gut, auch so ziemlich auf dem Stand der Zeit. Ist ja jetzt nicht so das es ein anderes FS gibt welches so massiv besser ist. Oder täusche ich mich da?

    Signatur sein ist doof, ich will ein Avatar werden, wenn ich gross bin!

  • Zitat

    Original von Mannyac
    Also Snapshots gehen dank VSS auch.


    ok, kannte ich nicht :)


    Zitat

    Aber was ich eigentlich meine, rein das Dateisystem ist sicher kein Grund das Betriebssystem zu wechseln. NTFS ist eigentlich ganz gut, auch so ziemlich auf dem Stand der Zeit. Ist ja jetzt nicht so das es ein anderes FS gibt welches so massiv besser ist. Oder täusche ich mich da?


    ich denke NTFS ist recht anständig. hatte selber selten probleme damit. dafür gibt's nichts massiv besseres. das selbe würde ich sagen wenn's um xfs oder ext3 geht. für den desktop sind imho alle etwa gleichwertig.


    bei komplizierteren anwendungen, denke ich aber, dass ntfs nicht mehr mithalten kann. hier gibt es natürlich zfs, sowie linux mit den flexiblen storage möglichkeiten. zfs ist leider ausser in opensolaris nicht wirklich in den desktop integriert. das kommende linux btrfs könnte hingegen schnell akzeptanz finden auf dem desktop. erste integrationsversuche werden bereits unternommen. ein effizientes, filesystem-basiertes 'timemachine' à la os x ist so nur noch eine frage der zeit. wobei das ja nur ein aspekt eines modernen filesystems à la zfs wäre. ich hoffe mal, die microsoft leute haben auf dem gebiet auch bald wieder etwas zu bieten...


    ganto


    "Computer games don't affect kids, I mean if Pacman affected us as kids, we'd all run around in a darkened room munching pills and listening to repetitive music."


    Kristian Wilson

    Einmal editiert, zuletzt von Ganto ()

  • Zitat

    Original von Ganto
    bei komplizierteren anwendungen, denke ich aber, dass ntfs nicht mehr mithalten kann. hier gibt es natürlich zfs, sowie linux mit den flexiblen storage möglichkeiten. zfs ist leider ausser in opensolaris nicht wirklich in den desktop integriert. das kommende linux btrfs könnte hingegen schnell akzeptanz finden auf dem desktop. erste integrationsversuche werden bereits unternommen. ein effizientes, filesystem-basiertes 'timemachine' à la os x ist so nur noch eine frage der zeit. wobei das ja nur ein aspekt eines modernen filesystems à la zfs wäre. ich hoffe mal, die microsoft leute haben auf dem gebiet auch bald wieder etwas zu bieten...


    Also Timemachine heisst unter Windows ja Shadow Copy und ist bereits seit XP bestandteil von Windows. Aber Filesystembasiert ist es wohl nicht.


    Rein interessehalber, was wird den von "komplizierteren" Anwendungen am Filesystem verlangt? Ich meine MS SQL Server und konsorten laufen ja auch unter Windows Server welches von sich aus sowieso nur NTFS unterstüzt.

    Signatur sein ist doof, ich will ein Avatar werden, wenn ich gross bin!

  • Zitat

    Original von Mannyac
    Also Timemachine heisst unter Windows ja Shadow Copy und ist bereits seit XP bestandteil von Windows. Aber Filesystembasiert ist es wohl nicht.


    Rein interessehalber, was wird den von "komplizierteren" Anwendungen am Filesystem verlangt? Ich meine MS SQL Server und konsorten laufen ja auch unter Windows Server welches von sich aus sowieso nur NTFS unterstüzt.


    ja gut. die files vor einer kritischen operation zu kopieren hat nicht viel mit den filesystem zu tun. da ist wohl mein vergleich mit 'time machine' etwas fehl am platz. ich nannte es mehr als beispiel für die accessibility einer snapshot funktion (im stil von: wie hat dieses file zu dieser zeit ausgesehen?). natürlich funktioniert das auch bei OS X nicht filesystem-basiert.


    man kann immer diskutieren, wie viel funktionalität in ein filesystem gehört. die ganze volumenverwaltung wird ja bei windows und auch beim linux bisher, trotz dynamischen laufwerken und LVM, noch eher statisch gemacht. da gibt es dann schon einige unterschiede zu einem ZFS-like filesystem. ob man das braucht ist dann eine andere frage.


    bei komplizierteren anwendungen habe ich z.b. an verteilte oder/und redundante dateisysteme gedacht. ich kenne da zugegebenermassen die windows lösungen nicht. das meiste wird da wohl via SMB layer und hardware raid gemacht.


    ganto


    "Computer games don't affect kids, I mean if Pacman affected us as kids, we'd all run around in a darkened room munching pills and listening to repetitive music."


    Kristian Wilson

    2 Mal editiert, zuletzt von Ganto ()

  • Werde wohl ext3 nehmen


    Nun das nächste Problem. Ich möchte gerne Ubuntu 10.04 auf RAID1 aufsetzen. Es handelt sich dabei um einen HP DC7700 im Software RAID1.




    In kürze (vom Tutorial Link unten) was ich gemacht habe:
    1. Live CD bootet
    2. Gepartet Partitionen gemacht, unformatiert (SWAP, / , /home; also sda1, sda2, sda3)
    3.

    Code
    1. # mdadm --create /dev/md1 --verbose --level=1 --raid-devices=2 /dev/sda1 /dev/sdb1
    2. (swap)
    3. # mdadm --create /dev/md2 --verbose --level=1 --raid-devices=2 /dev/sda2 /dev/sdb2
    4. (root)
    5. # mdadm --create /dev/md3 --verbose --level=1 --raid-devices=2 /dev/sda3 /dev/sdb3
    6. (home)


    Nun scheiterts aber hier. Habe gegooglet und bin irgendwie nicht auf die Lösung gekomme, die ich wollte. Vielleicht habe ich auch etwas falsch verstanden oder es will einfach nicht funktionieren.


    [Theoretisch]
    4. jeweiligen RAID partitionen formatieren (swap, ext3, ext3)
    5. Ubuntu installation starten
    6. grub einstellen
    7. have fun



    Hier das Tutorial:
    http://blog.foobaria.com/2010/…tu-1004-desktop-with.html

    Gaming: AMD Ryzen 5 2600X, MSI B450M, 32GB RAM, Sapphire RX6900XT Nitro+ SE, 4TB SSD, 10TB HDD, Win11, Samsung Odyssey G7 32" 1440p@165Hz
    Server: AMD Ryzen 5 3600, Gigabyte B450M4, Quadro P400, 16Gb RAM, 500GB SSD, Plex Encoder

    Storage: Intel i3 3220T, ASRock Z77 Pro4, 4Gb RAM, 111 TB Storage (Seagate Exos), Plex Storage

  • 1. Ich würde dir empfehlen "offiziellen" Tutorials zu folgen. Gerade bei Ubuntu ist das ja nicht schwierig, da das Wiki und die offizielle Dokumentation riesig ist.


    2. Software RAID kannst du mit der "Alternate-CD" beim Installieren erstellen. Wenn du das ganze vorab von Hand machst, ist es gut möglich, dass du dann bei der Ubuntu Installation vor weitere Probleme gestellt wirst.


    3. Wenn du von Hand weiterfahren willst, dann kannst du jetzt folgende Befehle zum erstellen der Dateisysteme eingeben:

    Code
    1. # mkfs.ext3 /dev/{md1,md2,md3}


    Falls du doch lieber auf Nummer sicher gehen willst, schau dir mal die offizielle Anleitung dazu an:
    help.ubuntu.com: Installation Software RAID


    Fallst du es von Hand machst und weitere Fragen hast, stehe ich gerne zur Verfügung.


    Gruss ganto


    "Computer games don't affect kids, I mean if Pacman affected us as kids, we'd all run around in a darkened room munching pills and listening to repetitive music."


    Kristian Wilson

  • omg. dass ich da nicht selbst drauf gekommen bin.. hat gleich beim ersten mal geklappt!
    ist nun installiert und

    Code
    1. cat /proc/mdstat


    sagt mir, dass er gerade am syncen ist.. in 210min ist er dann fertig..


    danke für die hilfe, ganto!

    Gaming: AMD Ryzen 5 2600X, MSI B450M, 32GB RAM, Sapphire RX6900XT Nitro+ SE, 4TB SSD, 10TB HDD, Win11, Samsung Odyssey G7 32" 1440p@165Hz
    Server: AMD Ryzen 5 3600, Gigabyte B450M4, Quadro P400, 16Gb RAM, 500GB SSD, Plex Encoder

    Storage: Intel i3 3220T, ASRock Z77 Pro4, 4Gb RAM, 111 TB Storage (Seagate Exos), Plex Storage

  • kein problem :]


    ich habe mir da mal eine kleine übersicht zusammengestellt, über die handhabung von linux software-raids:
    http://linuxmonk.ch/trac/wiki/…onk/Sysadmin/SoftwareRAID


    vielleicht kann es dir in einer notfall situation einmal behilflich sein.


    gruss ganto


    "Computer games don't affect kids, I mean if Pacman affected us as kids, we'd all run around in a darkened room munching pills and listening to repetitive music."


    Kristian Wilson

    Einmal editiert, zuletzt von Ganto ()

  • oO
    nun hab ich ein kurioses Problem.


    ich hab ja ne 2tb platte, sprich 1,8tb


    1. wird 1.79tb angezeigt (bei der Typgleichen anderen jedoch 1,8tb)
    2. 0bytes frei von 1.79tb, trotz dass ich 7gb gelöscht habe..


    an was kann das liegen?!



    irgendwie ein Fehler am Dateisystem?

    Gaming: AMD Ryzen 5 2600X, MSI B450M, 32GB RAM, Sapphire RX6900XT Nitro+ SE, 4TB SSD, 10TB HDD, Win11, Samsung Odyssey G7 32" 1440p@165Hz
    Server: AMD Ryzen 5 3600, Gigabyte B450M4, Quadro P400, 16Gb RAM, 500GB SSD, Plex Encoder

    Storage: Intel i3 3220T, ASRock Z77 Pro4, 4Gb RAM, 111 TB Storage (Seagate Exos), Plex Storage