Datengräber (NAS / Storage), Backups, Shares und deren Organisation

Mein "Fileserver" oder "Datengrab" ist kein gesondertes System mehr. War es früher mal, aber mittlerweile bin ich dazu übergegangen, mir sowas wie eine eierlegende Wollmilchsau für meine Zwecke zu bauen.

Klar, mag es "sauberer" sein, die Systeme zu trennen, aber das braucht auch weit mehr Platz.

Demnach habe ich drei Server hier bei mir zu einem migriert.

Meinen Fileserver, meinen Gameserver und meinen Medienserver.

Das alles läuft jetzt auf einem i5-6500 mit 16GB RAM im "berühmten" Sharkoon Rebel 9 Value Tower aus 2007.

Ausgestattet mittlerweile mit einer 500GB SSD für das System und sämtliche Server-Dienste und acht Festplatten (4x 4TB WD Red Plus, 4x 2TB WD Red Plus) welche in 3,5" Wechselrahmen sitzen.

Die Wechselrahmen sind 2x trägerlos und 6x Promise SuperSwap 1600

Der Server sieht richtig brachial aus

Das Ganze läuft unter Windows 10 und ist dank Zyxel Hardware-Firewall nur auf bestimmten, von mir gewollten Ports erreichbar.

Zugegriffen wird ganz normal über die Freigaben, egal ob von jeglichen Rechnern / Notebooks im Haus, von den Smartphones oder vom HTPC aus.

Einen separaten Medienserver hab ich nicht mehr laufen, ich handhabe das über Netzlaufwerke.

An meiner Backup-Strategie arbeite ich momentan.

Bei mir sind allerdings auch manuell angeschubste Backups Backups

Noch handhabe ich das so, dass ich einmal täglich ein Backup der wichtigen Daten (Dokumente, Bilder, etc.) veranlasse. Einmal auf eine externe Festplatte und einmal über's Internet auf ein kleines Selbstbau-NAS, welches bei meinen Eltern steht.

Das wird allerdings in naher Zukunft automatisiert.

Ich bin mit der Lösung bisher sehr zufrieden. Einfach und funktionell.

Zitat von gbotti

Ich starte diese Thread jetzt einfach mal, nachdem ich keinen bereits vorhandenen gefunden habe, der passen würde. Sollte ich mich irren, dann bitte verlinkt den anderen Beitrag einfach hier und / oder ich mache in diesem anderen weiter.

Zum Thema Datengräber wurde ja bereits in einem anderen Thread angefangen zu diskutieren. Ich bin total gespannt auf euere Vorschläge oder Anregungen und wie die Organisation eines derartigen Storage aussehen kann. Ich bitte allerdings darum, keine Grundsatzdiskussion vom Zaun zu brechen, alá "Ein Elasticsearch in einem Docker Container auf einer Synology NAS betreiben ist alles andere als optimal". Es soll bitte um Grundsätzliches gehen. Gerne können a andere Probleme gesondert gelöst werden, also sollte sich herausstellen, dass größerer Diskussionsbedarf zu einem Thema wie Backup, Elasticsearch, ..., besteht, dann fände ich es besser einen eigenen Thread dafür aufmachen. Danke.

Meine Konfiguration habe ich mir für mich ausgedacht und installiert. Sie ist ein absoluter Overkill, entstand aber als Resultat aus Beispielsweise "Ich kann das, also mach ich das so" oder "Ich habe schon viel Mist, auch Verschlüsselungstrojaner, bei Kunden gesehen" oder (auch vom Kunden) "RAID 0 reicht mir als Backup" (nein, wirklich RAID 0). Hier ein Einblick in meine private Konfiguration.

Erst mal ein wenig zu meinen (aktuell) vorhandenen Datengräbern.

Hauptstorage Synology DS916+

- 4x Seagate NAS Drives

- SHR 2 / doppelte Redundanz

- 8GB RAM

- 2x 1 GBit/s LAG

- Shares für neuere Geräte

- Wird genutzt für Logstorages, Fileshare NFS/AFP/CIFS, Download Station, Syncthing, Nextcloud, Elasticsearch manche Docker Container

- RDX Drive für Backup mit 7 Drives für direkte Backups

- USV

Retrostorage DroboFS

- 5x WD RED

- 1x 1 GBit/s

- RAID 6 / doppelte Redundanz

- älteres SAMBA Protokoll für alte Rechner

Backup Storage 1 (BS1), Tägliche Backups von wichtigen Daten der Synology:

- Zotac MAG Mini ND01

- Ubuntu Server 20.04

- 3 GB RAM

- 32 GB SSD für OS

- 2x WD RED in externem eSATA Enclosure

- USV

Backup Storage 2 (BS2):

- RaspberryPi 3B+

- Raspbian (Debian)

- 32GB SD-Card

- 1x WD RED

- Relay an GPIO zum an-/abschalten der Festplatte im Bedarfsfall

Meine (Haupt)Shares:

- Archiv

- Bilder

- Scans

- Webdownloads

- Software

- ISOs

- Projekte

- Treiber

- Systemdatentraeger

- Public

- Filme

- Backups

- home

- clonezilla

- Syncthing

Die Datenhaltung:

Meine Datenstruktur ist gewachsen und gewachsen, wie vielleicht bei manchem von euch auch. Es sind aus den Datenträgerbackups von Floppies und (Shareware-)CDs, die bereits in den 90ern erstellt wurden, noch soetwas wie Downloads verschiedenster Quellen dazugekommen. Irgendwann kam mir dann der Gedanke meine Strukturen neu anzulegen und zu sortieren.

Vor wenigen Jahren, bevor ich die Synology bekam, habe ich dann angefangen Dokumente in Nextcloud zu speichern und mit entsprechendem Plugin per Elasticsearch zu indizieren. Natürlich klappt das nur mit Dokumenten richtig gut, die bereits in Textform vorliegen oder per OCR vorbereitet wurden. Ich arbeite gerade daran meine Dokumente per Tesseract OCR automatisiert in Nextcloud verarbeiten zu lassen, damit diese auch per Elasticsearch Volltextsuche indiziert werden. Das durchsuchen der Dateien war bei den vorigen Systemen suboptimal und über das Netzwerk teilweise unmöglich. Auf der Synology funktioniert das im Filebrowser um einiges besser.

Trotz Nextcloud FullTextSearch versuche ich aber dennoch auf eine Datenstruktur zu achten, um im Zweifelsfall auch manuell schneller an Dokumente heranzukommen. Beispielsweise werden alle Dokumente seit einigen Jahren mit einem Datum im Format "YYYYMMDDmmhh-" als Prefix abgespeichert um die Sortierung leichter zu gestalten. Die Ordnerstruktur sieht dann Beispielsweise wie folgt aus: Archiv->Bewerbung->2023->Firmenname->202301042316-Lebenslauf.odf. In Ordnern und Dateinamen gibt es keine Umlaute, Sonder- und Leerzeichen.

Treiber, Software, ISOs sollten in ihren Shares liegen. Der Share Systemdatentraeger besteht aus Unterordnern für verschiedene Computer, die ich besitze oder teilweise besaß, in denen Treiber, BIOS, Manuals, Fotos, Scans, also alles, was an Informationen zu diesem Computer vorhanden ist, gruppiert sein sollte. Images der Festplatten mit den fertigen Installationen erstelle ich mit Clonezilla --- manchmal natürlich mit Hilfe meines Brückenrechners --- so kann ich die Geräte immer relativ schnell wieder auf "Originalzustand" zurücksetzen, wenn ich das möchte.

Es kommt dennoch vor, dass ich Duplikate auf den Platten liegen habe. Manche sind zwar gewollt (Treiber <-> Systemdatentraeger), andere sind natürlich ungewollt und entstanden durch etwas wie Downloads von Archiven / rsync von Servern. Das muss ich dringend aufräumen und besser durchsuchbar machen...

Für ältere Rechner nutze ich mein DroboFS, welches nicht mehr aktiv genutzt wird und für meine Retrorechner ein Storage zur Verfügung stellt, was eben auch ältere SAMBA-Protokolle unterstützt.

Backups:

Ich setze grundsätzlich lieber auf offlinefähige Backups, die auch in "10 Jahren" noch von einem guten Linux gelesen werden können (sollten).

An meiner Synology ist ein RDX Laufwerk angeschlossen. Dafür habe ich 10 Cartridges, auf denen die wichtigsten Daten im Wochenrhytmus gesichert werden. So kann ich Daten bis zu 10 Wochen und 6 Tagen zurück von diesen Cartridges wiederherstellen.

Auf BS1 werden täglich die relevanten Daten per RSnapshot von der Synology geholt. BS2 schaltet wöchentlich die Festplatten an, startet einen RSnapshotprozess um die Daten von BS1 zu holen, schaltet dann nach erfolgreichem sync, verify und unmount die Festplatten nach 10 Minuten wieder aus. BS2 hängt in einem eigenen BackupVLAN und BS1 hängt in beiden VLAN.

Alle Unwichtigen Daten (z. B. Treiber, ISOs, Retrocomputerbackups), also alles, was noch nicht irgendwie anderweitig gesichert wird, werden in absolut unregelmäßigen Abständen, wenn ich mal das DROBO anschalte, per manuell zu startendem RSync auf der Synology von dieser auf das DROBO kopiert.

Was sind für mich wichtige Daten:

- Dokumente von Banken, Versicherungen, Verträge, Rechnungen, ...

- Bilder / Videomaterial von meiner Familie

- selbst verbrochene Tools / 3D-Drucker Objekte

- Bitwarden / Keepass Tresore

- Backups von aktuellen Systemen

- Emails

MEINE Gedanken zur Sicherheit von Backups:

- Es sollten Offlinefähige Medien wie Festplatten, BluRay Discs oder Streamer / RDX verwendet werden

- Die Backupdatenträger sind verschlüsselt

- Die Verschlüsselungskeys sind auf mehreren USB-Sticks gespeichert. Mindestens einer dieser Datenträger ist nicht im Haus aufbewahrt

- Die Verschlüsselungskeys liegen in einem zentralen, geschützten Storage innerhalb meines Netzwerkes und werden bei Bedarf von den entsprechenden Systemen angefordert / abgeholt und werden nicht auf dem Backupsystem gespeichert

- Keines dieser Geräte hat Internetzugriff

- Eigene VLAN für "Sicherheitszonen" --- BS2 hängt in einem eigenen VLAN, BS1 ist als einziges Gerät im in beiden VLAN erreichbar

- BS2 hat Zugriff auf BS1 und holt sich die Daten von dort, nicht anders herum

- RAID ist kein Backup

- Backups, die im selben Raum aufbewahrt werden, sind keine Backups

- manuelle Backups sind keine Backups

- Backups, die nicht getestet werden, sind Schrödingers Backups

- alle Backups werden gemonitored

- Dokumentation der Backups

Die Dokumentation der Backups wird unterschätzt. Auch im privaten kann der "Administrator" ausfallen und die Lösung, die er / sie / es erarbeitet hat ist dahin und die "hinterbliebenen" müssen schauen, wie sie klarkommen. Für meine Fälle habe ich Textdateien erstellt, die auf der NAS und USB-Sticks mit den Keys liegen. Mein größtes Problem ist aber mich dazu zu zwingen die Dokumentation auf dem aktuellsten Stand zu halten, falls sich tatsächlich mal was ändert.

So. Ich hoffe irgendjemand kann mir nun noch folgen. Ist irgendwie mehr geworden, als ich ursprünglich dachte. Wenn du also bis hier gelesen hast...

Viel Spaß

Alles anzeigen

Gefällt.

Ich bin auf halben wege dahin wo Du gerade beschrieben hast. Wobei wir zu Hause nur einen Server und haben, nicht 27.

Auch ein paar schöne Ideen bei - nextcloud dümpelt schon länger in meinem Kopf als handhabende Software rum.

gbotti wie machst du das mit Nextcloud in der Praxis, wenn du außer Haus bist?

Baust du dann jedes Mal ein VPN ins Heimnetz auf, wenn du damit was synchronisierst oder ist das bei dir eine reine "in-house" Lösung, weil du nur Dateien damit verwaltest, aber keine Kalender/Kontakte?

sind RDX nicht so ein proprietäres Zeugs - oder könnte man im Falle die dort verbauten HDD ausbauen und direkt anschliessen? Wäre mir zu heikel - wo ist deine beschriebene Garantie, dass die Laufwerke noch gelesen werden können?

Ich setze bei mir zuhause für alles was nicht dauerhaft verfügbar sein muss auf LTO-Tapes. Ich habe zwei 8-Slot 19" LTO-4 Autoloader (die wollte ich eigentlich für konstante tägliche Backups der wichtigsten Daten nutzen - muss aber noch eine Lösung für das Lautstärkeproblem finden). In meinem Hauptrechner ist noch ein LTO-4 Laufwerk verbaut, was ich für sporadische lokale Sicherungen nutze - wobei ich dabei aufgrund von LTFS auf LTO-5 (davon habe ich ein externes Laufwerk) wechseln werde.

Aber ok - LTO ist relativ teuer und die Laufwerke lesen auch nur max. 2 Generationen zurück (die neueren nur noch eine Generation), dafür können die Medien leicht extern gelagert werden (was bei Backups ja sowieso das sinnvollste ist) und die Kapazität ist relativ hoch.

Hardware-technisch bin ich in etwa auf gleichem Level wie gbotti , nur bei der softwareseitigen Umsetzung bin ich lange noch nicht so weit.

Das Gros meiner Daten liegt im Keller auf einem QNAP TS-459 II Pro mit 4 x 3 TB im Raid 5.

Daneben steht ein Synology DS1010+ mit 4 x 1,5 TB im Raid 10, welches eine Kopie der wichtigsten Daten des Qnap enthält, aber nur manuell gestartet wird.

Das Ganze steht im räumlich nicht angrenzenden Keller, welcher die Verbindung über eine sehr langsame Powerline-Verbindung zu meiner Wohnung hat.

An dem Adapter hängt ein 24 Port Gigabit Switch, welcher zusammen mit dem Qnap über eine 700W USV abgesichert sind.

Nicht abgesichert sind das Synology und die Fritzbox, die mir im Keller mein WLAN aufbaut.

Daneben existieren noch zwei lauffähige Acer H340 (1 x WHS 2011, 1 x Debian/OMW) und ein Thecus 5200 Pro, welches noch auf Linux umgestellt werden muss. Diese sind aber aktuell nicht in Betrieb.

Im Wohnzimmer sitzt die Fritzbox für den Internetzugang, welcher die Verbindung zu meinem Büro und zum Keller via Powerline herstellt.

Im Büro hängt am Powerlineadapter ein weiterer 24-Port Gigabit Switch, an dem meine Rechner, der Rechner meiner Frau, der Netzwerkdrucker, der Microserver N54L, ein Synology DS415+ und ein Synology DS412+ hängen.

Das DS412+ enthält eine Submenge meiner Daten, die ich häufiger benötige und welche von der schnelleren Datenanbindung profitieren. Den N54L und das DS415+ nutze ich zum Experimentieren (ein bisschen VLAN, ein bisschen VMs, etc.), sofern ich mal Zeit dafür habe.

Auf der Software Seite fehlen noch die automatisierten Syncronisationen, eine klarere Einteilung der Daten und die Anbindung für eine Speicherung außer Haus.

Aber auf alle Fälle bin ich ein paar Schritte weiter als die einzelne USB-Platte zur Datensicherung, wie ich es in meinem Bekanntenkreis noch häufig sehe.

Zitat von Skorbin

und die Anbindung für eine Speicherung außer Haus

Wenn sich dieses schnelle Internet Glasfaser mal endlich durchsetzen würde, könnte man mit genügend Uploadgeschwindigkeit auch endlich ein Backup-NAS bei den eigenen Eltern aufstellen (sofern sie nicht im gleichen Gebäude wohnen...)

Zitat von gbotti

- Die Backupdatenträger sind verschlüsselt

Dann gehe ich davon aus, dass das komplette NAS-Volume logischerweise ebenfalls verschlüsselt sein muss?

Also müsste man beim Hochfahren des NAS jedes mal ein Passwort eingeben, damit die Platten überhaupt gemountet werden? (Das Passwort beim Hochfahren hinterlegt zu haben ist geschummelt, dann braucht es auch keine Vollverschlüsselung)

Was wenn der Familien-Administrator nicht greifbar ist?

Bei einer ähnlichen Ordnerstruktur wie "ISOs", "Treiber", "Software", "Bilder", etc. macht es bei mir wenig Sinn, deswegen das ganze (Backup-)Volume zu verschlüsseln. Die dauerhaft geringere Platten-Performance und das potentielle Hick-Hack mit div. Keys beim Hochfahren oder der Wiederherstellung ist mir das nicht wert. Außerdem können die vollverschlüsselten EXT4 Backup-Platten so nicht einfach an einen PC angeschlossen werden, um mal schnell etwas davon zu kopieren.

Das wirklich private/wichtige Zeug liegt dann lieber in einem kleinen separaten Veracrypt-Container.

gbotti du kannst den Schlüssel doch auf einem USB-Stick hinterlegen, statt auf dem NAS selbst

Der lässt sich notfalls auch abziehen (z.B. abends, oder vor dem Urlaub, etc.).

Ich suche schon länger und finde immer nur Informationen zu anderen Fragestellungen, daher hier noch mal konkret:

- Wie kann ich ein SYNOLOGY-NAS als APT Quelle einbinden?

Es nervt mich die DVD einzulegen und die Archive im WEB sind so langsam und nur schwer zu erreichen.

Ich möchte ein Debian mit der NET-Install CD starten und das Grundsystem installieren und danach bei

den APT Quellen mein NAS angeben, damit ich immer wieder schnell so ein System aufsetzen kann.

Wie bringe ich meinem NAS bei eine Debian Paketquelle zu sein?

Ich finde immer nur Tutorials ein DEBIAN als NAS zu konfigurieren oder Freigaben vom NAS bei einem installieren Linux einzubinden.

Danke Euch

Doc

drzeissler

Wie immer gibt es mehrere Wege … hierfür musst du auf der Syno die Webservices installieren:

a) Repository aufsetzen: https://www.tecmint.com/add-apt-repository/

b) Noch eine schöne Anleitung, einfach etwas runterscrollen bis zur Repo-Erstellung: https://earthly.dev/blog/creat…eb-packages-and-apt-repo/

Hierfür reichen die Fileservices:

c) Datenträger als Quelle hinzufügen, aber statt dem Mountpoint einer Debian-CD wählst du einen Pfad, in dem du ein Share vom NAS mountest, das Share hat das Layout einer Debian-CD

Bedenke aber, dass du immer noch aktuelle Bugfix-Releases von Debian holen solltest.

Danke, mal schauen was ich davon hinbekommen kann. VG

Wenn dein NAS VMs kann, wie die QNaps z.b. dann gibt es auch Fertige Debian Server die die Pakete zur Verfügung stellen...

Sind SYNOLOGY DS213 und CS406. VG

Zitat von drzeissler

Sind SYNOLOGY DS213 und CS406. VG

Musst du mal nachgucken ob du den VM-Manager installieren kannst. Aber VMs sind natürlich ressourcenintensiver als einfach den existierenden Web- oder Fileservice zu verwenden. CPU-Architektur kann auch ein Problem werden weil die kleine Syno offenbar PowerPC-CPU hat.

Der VM-Manager von Synology setzt m. W. mindestens 4 oder 8 GB RAM voraus, etwas was deine kleine Synology definitiv nicht hat.

Bei mir lief die Virtualisierung auch nur auf der DS415+, selbst die DS412+ konnte das nicht.

Aber kannst du dein NAS die Dateien nicht einfach via NFS bereitstellen lassen?