Home | english  | Impressum | Sitemap | KIT

Der Aufbau von bwDataArchiv

Bandtechnologie als Massenspeicher

Die technische Realisierung des Archiv-Langzeitspeichers erfolgt über einen Massenspeicher, der zum Großteil aus Magnetbändern besteht – einer bewährten Technologie mit einer im Vergleich zu Festplatten sehr viel geringeren Fehlerrate. Große Rechenzentren setzen stark auf diese verlässliche und langlebige Speichertechnologie, die darüber hinaus stetig weiterentwickelt wird. Zudem sind die Anschaffungs- und Betriebskosten von Bandtechnologien im Petabyte-Bereich bis zu einem Zehnfachen kostengünstiger als rotierende Platten. Der Nachteil längerer Zugriffszeiten (bis zu zwei Minuten) bei den linearen Medien wird durch Vorteile der Langlebigkeit und geringen Kosten für Strom und Kühlung ausgeglichen.

HPSS als Archivierungslösung

Zur Verwaltung des Archivspeichers in Kombination mit einer geeigneten Metadaten-Verwaltung und der Bereitstellung von Funktionen, zum Beispiel um die Integrität zu gewährleisten, muss ein allumfassendes System eingesetzt werden. Das SCC hat sich für die Installation und den Betrieb des High Performance Storage System (HPSS)  der Firma IBM entschieden. Das HPSS ermöglicht das Speichern von Millionen von Dateien bis in den Exabyte-Bereich. Platten und Bandspeicher werden in einem virtuellen File-System zu einem hoch performanten Storage Management-System zusammengeführt, das automatisch Daten von der Platte und Bändern migriert.
Zu den Benutzern von HPSS gehören in Deutschland neben dem HLRS das Deutsche Klimarechenzentrum (DKRZ), die Max-Planck-Gesellschaft (MPG) und der Deutsche Wetterdienst (DWD). Auch in den Vereinigten Staaten ist HPSS in mehreren großen Forschungs- und HPC-Einrichtungen im Einsatz.

Anwendungsbereiche im SCC

Im Projekt bwDataArchiv werden Schnittstellen und Archivspeicher von HPSS für die Entwicklungen in LSDMA, dem RADAR-Projekt und für weitere Anwendungen, die eine Plattform für Langzeitspeicher benötigen, bereitgestellt. Das SCC wird das Band-System weiter einrichten und ausbauen, um Simulationsergebnisse aus dem HLRS über LHC-Messdaten des CERN bis hin zu den Lustre-Dateisystemen am SCC zu speichern.

Archived Data

http://141.52.73.109/hpss_stats.svg