Das kleine RAID-1x1

  • Und das Gesamtkonzept der Sicherung, dezentral. Keine Cloud mit vernünftigem Speicherplatz gibt es kostenlos.

    Richtig. Deshalb kopiere ich alles in Intervallen auf eine externe HDD und die wichtigsten Sachen sobald was neues dazu kommt verschlüsselt in die bezahlte Cloud.

    Compaq Deskpro 286n/12MHz - 1MB - 40MB HDD - 3,5" Floppy //
    Panatek 386DX33 - 80387 - 8MB - 504MB CF2IDE - 5.25" & 3,5" Floppy - SB Vibra - NIC - 512Kb VGA //
    486DX2-66 - 16MB - 4GB CF2IDE - 5,25" & 3,5" 2,88MB Floppy - DVD - SB Vibra - NIC - 1MB CL VLB VGA //
    Intel Pentium 233MMX - 64MB - 16GB CF2IDE - 3,5" Floppy - DVD - SB AWE64 - NIC - 3Dfx Voodoo Banshee//
    Intel Pentium III 600MHz - 256MB - 4GB CF2IDE - 3,5" Floppy - DVD - SB AWE64 - NIC - 3Dfx Voodoo 3 3000 //

  • Moment. Wenn zwei baugleiche Porsche 911 direkt hintereinander vom gleichen Mitarbeiter mit demselben kaputten Schraubendreher auf demselben Band montiert wurden, beim selben Autohändler angeliefert und von zwei eineiigen Zwilligen gekauft, auf dieselbe Art gefahren, gleich betankt, gleich beladen, in der selben Garage abgestellt, im selben Urlaub gewesen und durchs selbe Schlagloch gefahren sind, … denn das passiert ja im RAID … dann spricht absolut nichts dagegen, dass sie gleichzeitig ausfallen, weil sie exakt dasselbe Leben hatten

    Ja genau... DAS ist die Realität.. Vielleicht essen auch beide Fahrer zur gleichen Zeit die gleichen roten Gummibärchen... und genau DAS ist dann der SPOF :Face



    Alles gut, sämtliche Admins der Welt haben bisher ihre Systeme falsch konfiguriert.... Wenn DAS mal nicht die Nachricht ist, auf den die IT-Welt gewartet hat... :i_s_G:thumbup:


    :atomrofl

    "Anstatt viel Geld für fragwürdige Marketing-Maßnahmen aus dem Fenster zu werfen, sollte Intel versuchen, die eigenen Schwächen abzustellen und nicht mit zweifelhaften Kampagnen die Mitbewerber zu diskreditieren." Kai Schmerer, ZDNet, zum P-Rating von AMD - 2002


    Haben will....:nw Sofort! :nw (Aktualisiert 16.01.20) Link sollte jetzt wieder funktionieren...


    Gegen Zwangsbeitrag

  • Alles gut, sämtliche Admins der Welt haben bisher ihre Systeme falsch konfiguriert....

    Die meisten Admins sind keine Herrscher über unendliche Hardwarepools, die sind irgendwo angestellt und machen was der Chef sagt. Und oft genug sagt der Chef: Mach so billig wie möglich.



    Ja genau... DAS ist die Realität.. Vielleicht essen auch beide Fahrer zur gleichen Zeit die gleichen roten Gummibärchen... und genau DAS ist dann der SPOF

    Du hast den Punkt falsch verstanden. Es geht darum das 2 Platten aus einer Charge die gleichzeitig laufen durchaus gleichzeitig ausfallen können. Und das ohne Vorwarnung.

    Compaq Deskpro 286n/12MHz - 1MB - 40MB HDD - 3,5" Floppy //
    Panatek 386DX33 - 80387 - 8MB - 504MB CF2IDE - 5.25" & 3,5" Floppy - SB Vibra - NIC - 512Kb VGA //
    486DX2-66 - 16MB - 4GB CF2IDE - 5,25" & 3,5" 2,88MB Floppy - DVD - SB Vibra - NIC - 1MB CL VLB VGA //
    Intel Pentium 233MMX - 64MB - 16GB CF2IDE - 3,5" Floppy - DVD - SB AWE64 - NIC - 3Dfx Voodoo Banshee//
    Intel Pentium III 600MHz - 256MB - 4GB CF2IDE - 3,5" Floppy - DVD - SB AWE64 - NIC - 3Dfx Voodoo 3 3000 //

  • Ich hab für ca. 0,1% des RAID-Volumens allerwichtigsten Daten, womit ich häufig arbeite so tägliche Backups nach Datum, die schieb ich automatisch auf versch. Clouds. Hin und wieder lösche ich dann manuell gesichtet ältere davon.
    Oder arbeite direkt auf Clouds.
    Ansonsten halt wöchentlich, monatlich usw. je nach dem wie kritisch das alles ist.
    Dafür hab ich keine Zahlen, sind grobe Schätzungen und mache ich aus Gewohnheit mehr oder weniger regelmäßig, passt alles ins derzeitige Cloudkonzept, was ich durch diese Diskussion aber auch grade wieder überdenke.
    Halte mich aber auch zum maßvollen Umgang auf, man kann das Zeug auch paranoid diskutieren.


    EDIT: Und gegen Menschlichkeit hilft kein Backup der Welt :)


    Um nochmal mein Konzept darzulegen:


    Ich habe derzeit zwei RAIDs, Gesamtkapazität 8 TB (die sind eher aus Spass entstanden und aus vielen übrigen Platten), aber nichts hält länger als ein Provisorium...


    Davon sind

    • wenige MB täglich geändert, täglicher Upload in mehrere Clouds, verschlüsselt, Arbeitsmittel (versehentliches Überschreiben, Komplettverlust, WIPs)
    • Einige GB wichtig, hier aber auch unterschieden zwischen Brisanz und Archivierung, meist verschlüsselt (alte Projekte muss man nicht wöchentlich oder täglich sichern)
    • Mehrere GB unwichtig, aber schwer beschaffbar, auch eher Archivcharakter (wöchentlich - monatlich - quartalsmäßig)
    • Einige TB Zwischenspeicher, nice to have, Datenträgerdumps (Filme, Spiele), Familienzugriff, kein Backup, bei Wiederbeschaffung halt nerviger Zeitaufwand (Downloadzeit, Datenträger einlesen etc., aber nicht unwiederbringbar)

    So im groben... das soll reichen.

  • @UnderTaker_2


    Die müssen ja nichteinmal exakt zeitgleich ausfallen, es reicht wenn die 2te beim stressigen Rebuild (=erhöhte Belastung, der Grund warum im Serverbereich Lüfter und Platten bevorzugt bei Abschaltungen ausfallen) die Grätsche macht.

    Von allen Dingen auf Erden ist die Intelligenz am gerechtesten verteilt: Jeder glaubt, er hätte genug davon.

  • @UnderTaker_2


    Die müssen ja nichteinmal exakt zeitgleich ausfallen, es reicht wenn die 2te beim stressigen Rebuild (=erhöhte Belastung, der Grund warum im Serverbereich Lüfter und Platten bevorzugt bei Abschaltungen ausfallen) die Grätsche macht.

    Deswegen macht man vor einem Rebuild ein Backup oder hat eh immer ein aktuelles Backup. Denn wenn der Controller abraucht wird es auch schwierig das RAID wieder herzustellen. Besonders bei RAID6 oder RAID5 mit hot spare. Da muss man vorher genau wissen, welche Platten wie im RAID eingebunden sind.
    Deswegen: einmal gespeicherte Daten sind verloren Daten... Auch bei RAIDX...

  • Raid-0 und sonst nix.
    Da ich ohnehin jeden tag ein Backup auf zwei Platten ziehe kann mir die Datensicherheit gestohlen bleiben.

  • Bin auch ein Fan von RAID-0. Das ist wenigstens was ehrliches, und man kann so sein Vertrauen zum HDD-Hersteller demonstrieren.


    RAID-1 kann ich wiederum nicht verstehen. Im privaten Umfeld, lieber mit der zweiten Platte ein versetztes ( zeitlich / anderes Interface ) Backup fahren. Es sei denn, man benötigt 24/7 Verfügbarkeit und hat nur zwei Bays.


    Ansonsten ist es doch eher kontraproduktiv. Doppelte Leistungsaufnahme / Vibration zumeist werden die auch direkt nebeneinander betrieben und heizen sich damit gegenseitig auf.

    Zitat

    Ohne Ketchup schmeckt einfach alles gleich!

  • ja, wobei der Raid verbund bei mir immer weniger Verwendung findet in Zeiten von schnellen SSD's.
    Der aktuelle Raid-0 besteht aus 4*2 tb platten die ich nicht wirklich mehr brauche.
    Ist noch aus Zeiten als ich für xplane11 die ganzen orthoxp Texturen ausgelagert hatte (6,8tb)

  • In Sachen RAiD bin ich schon viele Jahre weiter.


    Viele fahren noch alte RAiD 5 oder RAiD 6 Festplattenverbünde und wundern sich, warum dann plötzlich bei 95% {Murphy's Gesetz} das komplette RAiD trotz Spare Disk abgeraucht ist?


    Weil während der Wiederherstellung vom RAiD Controller ALLE Platten stark in Beschlag genommen werden, weil die eine Spare Platte (falls Vorhanden) zu 100% Bit für Bit beschrieben werden muss und dies aus den XOR Paritätsinformationen durch den Controller Prozessor.


    Normale humanoide Lebewesen sind schon nach 5 Bit :Bier Sternhagelvoll _.sAlu:D


    Da kann es dann passieren dass bei dieser höheren Belastung dann die zweite Platte im RAiD 5 Verbund abfackelt und dann ist es nämlich um den RAiD Verbund Essig, ..


    Und stirbt der Controller dann ist das RAiD auch durch andere Controllermarken nicht mehr lesbar, außer man hat genau denselben RAiD Controller mit genau demselben Firmware Stand in der Ersatz-Grabbelkiste ...


    Da lobe ich mir das Controllerlose ZFS! Zettabyte File System!


    Hier braucht es nur eine günstige CPU mit ECC Support / ECC Speicher und ein Mainboard was ECC unterstützt und ganz billige einfache SATA Ports vom Mainboard! Stinknormale HBA's {Host Bus Adapter}.


    Darauf ein RaidZ* deiner Wahl per Linux und ZFS Support erstellt und Fertig ist der Datenbunker! Ein RaidZ1 ist ein RAiD5 Verbund wo eine Platte ausfallen kann und ein Z2 eben zwei Festplatten. Pro Z-Ebene verringert sich der Speicherplatz um eine Festplatte. Bei Z2 zwei Festplatten.


    Der nächste Vorteil ist sind Snapshots (!) Und Copy on Write! Das bedeutet, man hat mit ZFS und Snapshots Datacenter Grade Hot Backups! Daa bedeutet: Man legt auf einem Dataset im ZFS zB einen Snapshot von 15 Minuten, dann wird im festgelegten Zeitrahmen von Uhrzeit zu Uhrzeit alle 15 Minuten ein Hot Backup des Dateistandes erstellt, aber es wird nur DAS gespeichert was sich auch geändert hat! Zb hat man 5 GigaBytes und es ändert sich pro Stunde nur 5 Megabytes werden auch nur 5 MegaBytes extra Platz benötigt. Sollte man zB durch einen Winblows Encryptor alle Daten verlieren kostet es dem Serveradmin nur ein müdes Lächeln :D und stellt den Share vor der Schädigung zurück und das in paar Sekunden!


    Raucht in einem ZFS RAiD eine Festplatte ab wird die Platte abgemeldet und die neue dem Verbund angemeldet und das Resilvering läuft! Und es werden nur Datenblöcke zurückgeschrieben die auch im ZFS Verwendung fanden! Sprich die Platte wird nicht zu 100% beschrieben sondern nur so viel wieviel Daten das RAiD hatte, zb 25%!


    Less Stress / Less Wear!


    Und fackekt euch das Mainboard des Servers ab, kein Problem! Man nehme irgendeine Platine die genügend SATA Schnittstellen hat, bootet das Host Linux und et voila alle ZFS Daten sind da!


    ZFS = Controller-unabhängig !


    Ihr sehr - Ich mag ZFS ;) Auch das Forenbackup liegt hier auf einem gesnapshotteten ZFS ECC Server, ...


    Aber man kann das beste RAiD haben und Trotzdem sind alle Platten frittiert, weil euch das billige LC... <X:puke Ups alles geschrottet hat :D


    Deshalb immer wo ein Backup haben, besser ist das!


    Ich nutze auch LTO3 Datenbänder als Backup mit 400 GiB Speicherplatz pro Band für den Worst Case!

  • naja, im Hobbybereich kann man ja machen was man will, ist ja eh jeder schlauer als der andere.


    In Umgebungen wo Daten wichtig sind gibt es Standards, in einigen Bereichen vom Gesetzgeber vorgeschrieben, z.B. in der Medizin oder halt in den Gold-Standards. Raid-5 und 6 war lange Jahre das Non-plus-ultra, wurde allerdings bei zunehmender Größe der mechanischen Festplatten unpraktikabel. Der Rebuild dauert viel zu lange und die Hardware wird zu sehr gestresst in der degraded Zeitspanne.


    Es gibt unglaublich viele tolle Ideen, wie Plattenverbünde aus gemischten Herstellungschargen etc. zu benutzen, alles toll und teilweise auch notwendig. In der Praxis nutzt eigentlich niemand in neuen Server-Systemen professionell etwas Anderes als ein Raid-10 Derivat, weil man eh SSDs nimmt.


    Außerdem ist ein funktionierendes Backupsystem fast noch wichtiger als irgendein Wunderraid.

  • Deswegen macht man vor einem Rebuild ein Backup

    Definition Backup: "Das hättest du besser vorher machen sollen"


    _____________________________________
    Thema Raid: Bin Raidlos - habe dafür 2 BU Platten, eine direkt mit an der Diskstation, die andere am Router (OpenWRT) leider lässt Synology kein BU-Intervall von 2 Wochen zu, sonst würde ich beide Platten wechselweise nutzen...

    Von allen Dingen auf Erden ist die Intelligenz am gerechtesten verteilt: Jeder glaubt, er hätte genug davon.

  • 2x Raid 1 im Raid 0


    so hatte ich es damals.. das beste aus 2 Welten.
    Raid 5 nervt. Check summen kosten evtl. CPU Zeit je nach Variante...


    Einfach 2 Kopien schreiben kostet am wenigsten.
    HDDs setzt man wenn doch nur noch aus Kostengründen ein dachte ich :D

    совок

  • In der Praxis nutzt eigentlich niemand in neuen Server-Systemen professionell etwas Anderes als ein Raid-10 Derivat

    Raid 10 ist auch voll OK wenn man die extra Geschwindigkeit braucht/möchte :)

    Compaq Deskpro 286n/12MHz - 1MB - 40MB HDD - 3,5" Floppy //
    Panatek 386DX33 - 80387 - 8MB - 504MB CF2IDE - 5.25" & 3,5" Floppy - SB Vibra - NIC - 512Kb VGA //
    486DX2-66 - 16MB - 4GB CF2IDE - 5,25" & 3,5" 2,88MB Floppy - DVD - SB Vibra - NIC - 1MB CL VLB VGA //
    Intel Pentium 233MMX - 64MB - 16GB CF2IDE - 3,5" Floppy - DVD - SB AWE64 - NIC - 3Dfx Voodoo Banshee//
    Intel Pentium III 600MHz - 256MB - 4GB CF2IDE - 3,5" Floppy - DVD - SB AWE64 - NIC - 3Dfx Voodoo 3 3000 //

  • Ich mag ZFS

    Jupp hab ich entgegen vieler Unkenrufe von Linuxkollegen auch hier privat auf'm Custom Fileserver im Einsatz :)
    Hauptsächlich aus den Gründen, die du aufgezählt hast. Habe mich da vor 5 Jahren länger mit beschäftigt.


    EDIT: Man kann wohl auch Log und Cache Platten anmelden für die Pools, mit beliebigen Größen, SSDs wären dafür geeignet. Ist sicher was Business orientiertes, aber ich wollte das mal anmerken.


    Es hat seine Limitierungen z.B. kannst du nicht wie bei normalem Software-/Hardware Raid einfach Festplatten zu einem RAID5/6 Pool zufügen und damit die Kapazität vergrößern.
    Auch eine Verkleinerung ist nicht möglich, bin nicht sicher ob bei normalem RAID möglich. Ist unflexibler.


    Habe provisorisch damit rumgespielt und einen seltsamen Pool gebaut aus RAIDz1 + Mirror (5 Platten), den krieg ich nicht mehr auseinander ohne komplette Zerstörung.
    Läuft nun aber schon so seit 5 Jahren.


    Bin momentan dabei es umzubauen, gedanklich, ein paar gebrauchte aber nur wenige 1000h gelaufene 3 TB Platten habe ich schon da. Die momentanen 2 TB und 1 TB Platten zeigen bereits Alterserscheinungen.
    Werde auf 2x RAIDz1 gehen. 3x 3 TB + 3x 2 TB und die 1 TB Platten kommen in Rente oder Zwischendatengräber.


    Das mit den Snapshots habe ich leider noch nicht getestet.
    Was ganz nett ist ist die Komprimierung.
    Und man kann es einfach mit Dateien testen. 10x 100 MB Datei und Pools bauen und damit rumspielen.


    Was ist der Kostenpunkt für solche 400 GB Bänder samt Laufwerk? Ich hoffe mal die gehen an USB3 oder eSATA?

  • Es hat seine Limitierungen z.B. kannst du nicht wie bei normalem Software-/Hardware Raid einfach Festplatten zu einem RAID5/6 Pool zufügen und damit die Kapazität vergrößern.
    Auch eine Verkleinerung ist nicht möglich, bin nicht sicher ob bei normalem RAID möglich. Ist unflexibler.

    Guggst du hier:
    https://tylersguides.com/guide…e-size-of-a-freebsd-disk/


    zpool ist hier sehr mächtig, man muss aber per Kommandozeile hier bisschen was eingeben.
    Da hat sich viel in der Zwischenzeit getan. Wie gesagt ZFS ist ja auch Enterprise Ready. Der bequemere Part ist halt jeweils einzeln größere Platten resilvern lassen bis das ganze Array ausgetauscht ist ohne Datenverlust, also quasi immer größere Platten dem Raid hinzufügen bis man die kompletten Platten gegen größere getauscht hat, sprich hast 5 Platten und diese bilden dann ein Z1 oder Z2 ergeben 5 Platten die dann die neue Größe der neuen Platten haben ;)


    Sprich man nutzt den Z1 Errorlevel aus, sprich eine Gesunde HDD ziehen, größere Platte rein, resilvern, Raid wieder Online und dann die Nächste bitte.

    Jupp hab ich entgegen vieler Unkenrufe von Linuxkollegen auch hier privat auf'm Custom Fileserver im Einsatz

    Deswegen nimmt man auch FreeBSD - Dort ist es in Stein gemeißelt. Auch war früher vor Jahren das ZFS for Linux noch nicht stable, aber mitterweile ist das seit Jahren stable. Deshalb wohl die Unkenrufe ;)

    Was ist der Kostenpunkt für solche 400 GB Bänder samt Laufwerk? Ich hoffe mal die gehen an USB3 oder eSATA?

    Leider sind die Laufwerke nicht ganz günstig - man muss Glück haben ein LTO3 zu einem guten Preis zu finden. Dann gibt es da noch zwei Schnittstellen: SCSI LVD 320 (Paralell SCSI) oder SAS (SATA for Business/Industrial) Meines Wissens gibt es da keine USB 3.0 und eSATA Lösungen - Hier brauchst du SCSI/SAS HBAs :)


    Die LTO3 Bänder kosten nicht zu viel - so ca 17 Euronen.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!