Home | english  | Impressum | Sitemap | KIT

Steinbuch Centre for Computing (SCC)

bwDataArchiv - Archivierung von Forschungsdaten

Der Dienst bwDataArchiv bildet die technische Infrastruktur zur langfristigen Archivierung von Forschungs- und Bibliotheksdaten für den Archivstandort Baden-Württemberg.
Interior of StorageTek tape library at NERSC (2),  Foto: Wikimedia Commons, Derrick Coetzee

Der Dienst bwDataArchiv

Der Landesdienst bwDataArchiv bietet eine technische Infrastruktur zur langfristigen Datenarchivierung, die insbesondere für Universitäten und öffentliche Forschungseinrichtungen aus Baden-Württemberg zur Verfügung gestellt wird. Die Datenarchivierung erfolgt am Karlsruher Institut für Technologie (KIT) und umfasst eine verlässliche Speicherung auch großer Datenbestände für einen Zeitraum von zehn oder mehr Jahren. Der Dienst ermöglicht eine qualifizierte Umsetzung der Empfehlung der Deutsche Forschungsgemeinschaft (DFG) zur Sicherung und Aufbewahrung von Forschungsdaten. Weitere Informationen: https://www.rda.kit.edu

Motivation

Daten von wissenschaftlichen Experimenten, von Messungen, Analysen und Simulationen, sollen am KIT langfristig aufbewahrt werden. Die Aufbewahrung dieser digitalen Daten ist nicht nur aus rechtlichen Gründen wichtig, sondern verpflichtet auch schon aufgrund der historischen Werte der Daten. Am Steinbuch Centre for Computing (SCC) des KIT wird die Menge dieser Daten in der nächsten Zeit stark ansteigen, unter anderem aufgrund der Rolle des KIT als Archivstandort für Baden-Württemberg. Innerhalb des vom Ministerium für Wissenschaft Forschung und Kunst (MWK) in Baden-Württemberg geförderten Landesprojekts „bwDataArchiv“ wird das SCC seine technische Infrastruktur für die langfristige Archivierung von wissenschaftlichen Daten aus Forschungseinrichtungen und Bibliotheken, sowie von Daten der Großrechner des Höchstleistungsrechenzentrums Stuttgart (HLRS) weiter ausbauen. Im Rahmen des Projekts bwDataArchiv werden Technologien entwickelt und eingesetzt, die eine strukturierte, verlässliche und sichere Langzeitspeicherung von mehr als einem Exabyte bis 2020 ermöglichen.

Im Projekt bwDataArchiv sind unter anderem die folgenden Fragestellungen von Interesse:

  • Wie vereinfacht man den Prozess der Datenarchivierung auch für IT-ferne Wissenschaftsgemeinden?
  • Welche sicherheitsrelevanten Aspekte spielen bei Langzeitspeicherung eine Rolle?
  • Wie kann die Datenintegrität effizient in Archiven von hunderten Petabytes sichergestellt werden? 

 

Ziele

Im Projekt sollen etablierte und zuverlässige Techniken zur digitalen Langzeitspeicherung ausgewählt und in den Betrieb überführt werden. Ziel ist der Aufbau einer technischen Infrastruktur zur Langzeitspeicherung und die Etablierung eines Dienstes als Basis für verlässliche Langzeitarchivierung von wissenschaftlichen und kulturrelevanten Daten.

Die Entwicklung des neuen Dienstes wird im vierten Quartal 2016 so weit vorangeschritten sein, dass Daten von abgeschlossenen Projekten des HLRS aufgenommen und verlässlich archiviert werden können. Im ersten Schritt wurde die Beschaffung der erforderlichen Hard- und Software durchgeführt und der initiale Dienst für das HLRS bereitgestellt. Anhand erster Erfahrungen wird nun der Dienst im Projekt für weitere Nutzer etabliert werden und im Hinblick auf Integrität, Nutzbarkeit und Verfügbarkeit im zweiten Schritt weiterentwickelt werden.

 

Förderung und Kooperationen

Das bwDataArchiv-Projekt wird vom Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg gefördert und arbeitet eng mit den DFG-Projekten RADAR, dem Landesprojekt bwDataDiss, im Rahmen des Helmholtz-Projekts LSDMA mit verschiedenen wissenschaftlichen Communities sowie den internationalen Projekten EUDAT, Human Brain Project (HBP) und dem World Wide LHC Computing Grid (WLCG) zusammen.