>7TB HDs

Also rein aus der Enterprise Perspektive kann ich sagen, dass Platten über 6 TB für den Dauerbetrieb noch einen Moment brauchen werden. Im Februar kommt mit dem Facelift der HDS Midrange Systeme die 6 TB Platte. 8 TB ist noch nicht angekündigt.

Da freu ich mich drauf, endlich mal genügend Speicher in meinem NAS.

Ich speichere da eh nur Filme und Backups, da schreibe/lese ich im Durchschnitt weniger als 500GB Daten pro Tag. Und sollte die mal hops gehen, jenu

Ich sehe die SMR Technologie als relativ problematisch, da diese einen Restore brutal verlängert. Somit, wie auch schon im Artikel angetönt, quasi unbrauchbar für RAID / NAS Systeme. Bei einem Restore in einem RAID5 mit 8 TB wird das ewig dauern, wenn du noch regelmässigen Schreibzugriff hast. Zwar hast du quasi schon jetzt mit den Riesenplatten RAID6 Zwang, aber mich würde schon interessieren, wie man sich das vorstellt, wenn du maximal 500 GB pro Tag lesen sollst. Für die Parity-Berechnung beim Restore muss ja alles gelesen werden, somit hast du mit den Sollwerten bei einem Restore 16 Tage ohne Delay und Random Read Verzögerungen .

Ich habe mir überlegt, dass wenn mir eine Platte aussteigt ich noch 1-2 Backup Files ziehe und dann das RAID lösche und neu initialisieren werde (quick).

Wenn dann hald die Filme weg sind, macht das auch nicht viel, zudem habe ich vor ein DFS-R zu einem Freund einzurichten, dann kommen die einfach wieder zurück mit der Zeit. :D...

Wenn du das so machst, warum streams du das Zeug nicht einfach vom DFS zum Player, dann kannst du dir einen lokalen Cache auch sparen. Sehe den Sinn nicht so ganz. Dann brauchst du auch kein RAID.

Zitat

Original von DarkLordSilver
Ich sehe die SMR Technologie als relativ problematisch, da diese einen Restore brutal verlängert. Somit, wie auch schon im Artikel angetönt, quasi unbrauchbar für RAID / NAS Systeme. Bei einem Restore in einem RAID5 mit 8 TB wird das ewig dauern, wenn du noch regelmässigen Schreibzugriff hast. Zwar hast du quasi schon jetzt mit den Riesenplatten RAID6 Zwang, aber mich würde schon interessieren, wie man sich das vorstellt, wenn du maximal 500 GB pro Tag lesen sollst. Für die Parity-Berechnung beim Restore muss ja alles gelesen werden, somit hast du mit den Sollwerten bei einem Restore 16 Tage ohne Delay und Random Read Verzögerungen .

Raid 5 sind ja eh schon seit Jahren tot.
Und wie schon der Hersteller sagt: Die Platte ist explizit nicht für diesen Einsatz gedacht,
du gehst ja mit einem Trabi auch nicht an die Dakar Rally, auch wenn es prinzipiell (technisch) möglich ist.
Ich find die Platten gut, sie machen endlich den Leuten klar, dass die Raid-Ära vorbei ist.

@ DLS: für Storage im Privatgebrauch ist Raid einfach die falsche Lösung.

Die 8TB Platten sind perfekt für nahezu statische Filmserver.

Zitat

Original von Entsafter
Die 8TB Platten sind perfekt für nahezu statische Filmserver.

Sehe ich auch so. Aber andere Frage: In welchem Anwendungsszenario ist der Filmserver nicht statisch?

RAID5 ist sicher nicht seit Jahren tot. Wie kommst du denn darauf? Und der Hersteller warnt vor Performance Problemen. RAID-Ära vorbei?

@ Entsafter: Warum denn?
Die Platte ist quasi ein WORM Device. Dann kannst du gleich LTFS benutzen.

@ Saiba

Was ist, wenn du noch andere Daten hast? Homebackup von Clients, Torrent Server, etc.

Nur das ich nicht erst Tape wechseln und 10 Minuten spulen möchte um mir einen Film anzusehen...
Da dürfte die HDD auch bei 200ms Zugriffszeit noch schneller sein.

War nicht ganz ernst gemeint

Zitat

Original von DarkLordSilver
RAID5 ist sicher nicht seit Jahren tot. Wie kommst du denn darauf? Und der Hersteller warnt vor Performance Problemen. RAID-Ära vorbei?

Weil die Chance auf einen erfolgreichen Rebuild mit Platten >1TB einfach beschissen sind.
Google doch einfach mal ein bisschen: Raid 5 dead, Post Raid Era.
Klar kann man ein Raid 5 mit 8TB Platten und keine Probleme haben,
ich kann aber auch russisch Roulette spielen und überleben...

Nein, das ist doch überhaupt nicht wahr. Generell ist die best practice der Storage-Hersteller, dass man für Nearline-SAS nur noch RAID6 verwendet. Für normale SAS Platten ist RAID5 immer noch state of the art.
Und wenn ich sage Storage Hersteller, dann meine ich NICHT Synology oder QNAP.

Wenn dir egal ist, ob deine Daten weg sind, dann brauchst du so oder so kein RAID, sondern JBOD. Das hat dann auch nichts mehr mit Post-Raid zu tun, das ist einfach non RAID, weil keine Sicherheit. Ich will aber meine Daten noch und zwar alle. Filme würden mir zwar weniger weh tun, aber mich trotzdem ärgern. Also bleibt mir nur RAID und als Backup ein Spiegel zu einem anderen RAID oder Tape. Das macht der 0815 Homeuser aber nicht, und verzichtet somit auf Sicherheit.

Raid gibt dir trotzdem nur Verfügbarkeit und keine Sicherheit.
Kann wirklich nicht verstehen, wieso man als Privatuser ohne Performance-Applikationen ein Raid5/6 braucht.

Rebuilding ist absolute Glückssache bei 6TB+ Platten.
Und ich streite nicht ab, dass im professionellen Umfeld Raid durchaus Sinn ergeben kann.

Klassische Raid Ausfälle führen zum einem Totalverlust.
Andere Lösungen können selbst bei einem Ausfall von N+x Platten noch alle restlichen Platten ansprechen. Darin liegt der grosse Vorteil.

Read-Speed ist halt limitiert durch die jeweilige Platte, aber das reicht für 99.9% der Privatanwender.

Ich wage sogar die Aussage, dass viele User mit Raid5/6 NAS keine Ahnung von Verfügbarkeit und Backup haben, jedoch glauben mit ihrer Lösung super geschützt zu sein.

Point taken, Sicherheit nicht gleich Verfügbarkeit.
Vor Totalverlust schützt dich so oder so nur der Medienbruch, alles andere ist Augenwischerei, wie bereits geschrieben. R6 bringt mehr Verfügbarkeit, aber das wird halt mit Spässen wir SMR relativ verkleinert.

Gerade als Privater hast du ja eher weniger eine Tape Library zuhause. Also bist du ja auf einen Mechanismus angewiesen, der deine Platten spiegelt. Hast du ein NAS, kannst du das relativ easy auf ein Anderes spiegeln.

Das Problem für mich ist, dass du bei einem N+x Ausfall halt effektiv einen Teil der Daten verlierst und deshalb einen Restore machen musst. Ganz klar eine Frage der Bequemlichkeit. Wenn du aber kein Backup hast, bleibt die Chance, dass du mit einem Rebuild erfolgreich bist.

Mit der Aussage, dass viele denken, mit einem NAS super dran zu sein, bin ich mit dir einig. Leider werden die meisten irgendwann die hässliche Wahrheit kennenlernen. Ist auch schon sehr grossen Firmen so ergangen, z.B. hat Amazon vor ein paar Jahren nur auf Snapshots gesetzt und ist hässlich auf die Fresse geflogen, als ein paar Blöcke aus der CoW-Chain abgenippelt sind.

@DarkLorSilver

Da gebe ich dir teilweise Recht, aber bei den heutigen Datenmengen und Virtualisierung werden die Next-Gen Dateisysteme immer wichtiger.

Mit Post-Raid meine ich selbstverständlich Copy-On-Write Dateisysteme,
dagegen wirkt ein klassisch Raid-Systeme wie eine Floppy-Disk.
Für meine wichtigen Daten: Dokumente und Bilder ZFS-Mirror auf 2x2 TB Platten
BackUp: Wöchentlich Snapshots abwechselnd auf externe 2x 2TB Platten, die ich nicht in der Wohnung aufbewahre.

Copy-On-Write und Snapshots sind eine gute Sache richtig eingesetzt.

Entsafter
Genau das meinte ich.

Nenn mir bitte mal Beispiele. Alles was SDS hervorgebracht hat, liegt am Ende des Tages wieder auf RAID. Alles was virtualisiert ist, macht Fake Software RAIDs über mehrere Backends. Dito HW Virtualisierung. ZFS? Hat kein einziger meiner Kunden. All-Flash ist angekommen im Markt. Wird verkauft als RAID5 oder RAID10 Konfig. VMware supportet auch kein nativeZFS. Dort ist Block (=RAID) und NFS (=WOFL (Prop. RAID6@netapp), WFS2 (=RAID@HDS), Isilon (auch RAID @EMC) gefragt. Auch Nexenta und OpenStack müssen das erst auf NFS umbiegen und die ganzen Verwaltungen im Untergrund des NFS fahren. Solidfire muss auch ein NFS überstülpen.

Die Amazon S3 läuft als Objektstorage auf Netapp. Netapp = WOFL = RAID6. Da ist nichts next-gen.

CoW ist für mich nur eine Snapshot Technologie, bestenfalls geeignet für Backups. Netapp ist auch der einzige, der grossangelegt auf CoW setzt und die Folgen sind bekannt. Wenn die Chain bricht, dann kannst du deine Daten rauchen. Welche sind denn diese CoW Dateisysteme, von denen du sprichst?

Zitat

Original von DarkLordSilver
Nenn mir bitte mal Beispiele. Alles was SDS hervorgebracht hat, liegt am Ende des Tages wieder auf RAID. Alles was virtualisiert ist, macht Fake Software RAIDs über mehrere Backends. Dito HW Virtualisierung. ZFS? Hat kein einziger meiner Kunden. All-Flash ist angekommen im Markt. Wird verkauft als RAID5 oder RAID10 Konfig. VMware supportet auch kein nativeZFS. Dort ist Block (=RAID) und NFS (=WOFL (Prop. RAID6@netapp), WFS2 (=RAID@HDS), Isilon (auch RAID @EMC) gefragt. Auch Nexenta und OpenStack müssen das erst auf NFS umbiegen und die ganzen Verwaltungen im Untergrund des NFS fahren. Solidfire muss auch ein NFS überstülpen.

Die Amazon S3 läuft als Objektstorage auf Netapp. Netapp = WOFL = RAID6. Da ist nichts next-gen.

CoW ist für mich nur eine Snapshot Technologie, bestenfalls geeignet für Backups. Netapp ist auch der einzige, der grossangelegt auf CoW setzt und die Folgen sind bekannt. Wenn die Chain bricht, dann kannst du deine Daten rauchen. Welche sind denn diese CoW Dateisysteme, von denen du sprichst?

CoW ist eine Unix-Philosophie, explizit auf FS bezogen laut Wikipedia:
Bei Dateisystemen bedeutet Copy-On-Write, dass geänderte Blöcke nicht überschrieben, sondern zunächst vollständig an einen freien Platz geschrieben werden. Danach werden Verweise auf den Block in den Metadaten aktualisiert. Copy-On-Write ermöglicht transaktionsbasierende Dateisysteme, die unter anderem ohne Verzögerung Speicherabbilder (oder Schnappschüsse derselben) anlegen können. Alte Metadaten und Blöcke werden dabei nicht gelöscht, sondern dem jeweiligen Speicherabbild zugeordnet.

CoW-FS sind aus meiner Sicht Btrfs und ZFS

Setz doch ein virtuelles SAN mit ZFS in ESXi auf oder physisch als Bare-Metal, Controller per Passthrough durchreichen, ZIL/L2ARC auf einen SSD verbund und du hast einen extrem performante SAN. Mounten kannst du das ganze mit iSCSI, NFS und SMB.

Ich kann dir noch weitere Vorteile auflisten:
-Beim Ausfall einer Festplatte in einem Raid Verbund werden nur die belegten Daten rebuilded. Nicht die gesamte Festplatte. Dies reduziert die Rebuild-Zeit und die Wahrscheinlichkeit eines weiteren Ausfalls.

-ZFS garantiert, dass ein erfolgreich ausgelieferter Block exakt so geliefert wird, wie er vor XX Jahren gespeichert wurde

-Ein Pool kann schrittweise durch größere Festplatten ersetzt werden und man kann trotzdem die gesamte Kapazität der Platte nutzen
Festplatten können physikalisch, sogar in anderer Reihenfolge, in ein anderes System gesteckt werden und solange die ZFS Version auf dem Zielsystem größer oder gleich ist, können sämtliche Daten, ACLs, Snapshots etz nach dem Import genutzt werden

-Selbst für einen 200TB Pool benötigt ZFS für die Erstellung nur wenig Minuten. Kein Init ist notwendig.

-Eigene Verwaltung von Plattenverbänden: ZFS greift nicht auf bestehende Software-RAID-Systeme zurück, sondern hat einen eigenen Manager an Bord, der die Zugriffe regelt.

-Deduplication: Gleiche Daten werden nur ein Mal auf der Platte abgelegt, sodass Plattenplatz gespart werden kann.

-ZFS kann frühzeitig Plattenprobleme erkennen, da es für jeden Datenblock eine Prüfsumme anlegt!!!!!!!!!!

-Deduplication

Die Nachteile möchte ich auch nicht verschweigen:

-ZFS sollte mit mindestens 1 GB RAM betrieben werden, die Faustregel ist 1GB pro 1TB.

-Aufgrund der Erzeugung von Checksummen wird zusätzliche CPU-Leistung verlangt.

Beides ist aber vertretbar, da die Grundleistung immer mehr steigt.

Die Vorteile von Raid-Z von ZFS:
-RAID-Z (oder: RAID-Z1) wird häufig mit RAID 5 verglichen, Vorteil: copy-on-write, also kein "write hole" wie beim klassischen RAID

-RAID-Z (eine Platte Redundanz, mind. drei Platten im Verbund) ist aber RAID 3 am ähnlichsten
Die Paritätsstruktur kann auch verdoppelt werden, sodass der Ausfall von zwei Festplatten kompensiert werden kann, ohne Daten zu verlieren (vergleichbar mit RAID-6). Dies geschieht mit RAID-Z2 (raidz2).

Produkte auf ZFS Basis:
Joyents SmartOS
Viele Oracle Produkte
FreeNAS bzw. TrueNAS
Nexenta Produkte
und und und

Ich empfehle dir einmal ZFS auszuprobieren, es ist aus meiner Sicht genial und sehr einfach in der Bedienung und Benutzung.