Der Aufbau von bwDataArchiv
Bandtechnologie als Massenspeicher
Die technische Realisierung des Archiv-Langzeitspeichers erfolgt über einen Massenspeicher, der zum Großteil aus Magnetbändern besteht – einer bewährten Technologie mit einer im Vergleich zu Festplatten sehr viel geringeren Fehlerrate. Große Rechenzentren setzen stark auf diese verlässliche und langlebige Speichertechnologie, die darüber hinaus stetig weiterentwickelt wird. Zudem sind die Anschaffungs- und Betriebskosten von Bandtechnologien im Petabyte-Bereich bis zu einem Zehnfachen kostengünstiger als rotierende Platten. Der Nachteil längerer Zugriffszeiten (bis zu zwei Minuten) bei den linearen Medien wird durch Vorteile der Langlebigkeit und geringen Kosten für Strom und Kühlung ausgeglichen.
Die Daten werden sicher auf Magnetbändern gespeichert. Wir verwenden die folgenden Bandlaufwerke und Technologien: STK 10kC (max. 4 TB pro Kassette) und STK 10kD (max. 8 TB pro Kassette), TS1160 (~20 TB pro Kassette)
HPSS als Archivierungslösung
Zur Verwaltung des Archivspeichers in Kombination mit einer geeigneten Metadaten-Verwaltung und der Bereitstellung von Funktionen, zum Beispiel um die Integrität zu gewährleisten, muss ein allumfassendes System eingesetzt werden. Das SCC hat sich für die Installation und den Betrieb des High Performance Storage System (HPSS) der Firma IBM entschieden. Das HPSS ermöglicht das Speichern von Millionen von Dateien bis in den Exabyte-Bereich. Platten und Bandspeicher werden in einem virtuellen File-System zu einem hoch performanten Storage Management-System zusammengeführt, das automatisch Daten von der Platte und Bändern migriert.
Zu den Benutzern von HPSS gehören in Deutschland neben dem HLRS das Deutsche Klimarechenzentrum (DKRZ), die Max-Planck-Gesellschaft (MPG) und der Deutsche Wetterdienst (DWD). Auch in den Vereinigten Staaten ist HPSS in mehreren großen Forschungs- und HPC-Einrichtungen im Einsatz.
Anwendungsbereiche im SCC
Im Projekt bwDataArchiv werden Schnittstellen und Archivspeicher von HPSS für die Entwicklungen des RADAR-Projektes und für weitere Anwendungen, die eine Plattform für Langzeitspeicher benötigen, bereitgestellt. Das SCC wird das Band-System weiter einrichten und ausbauen, um Simulationsergebnisse aus dem HLRS über LHC-Messdaten des CERN bis hin zu den Lustre-Dateisystemen am SCC zu speichern.
Archived Data