Home | english  | Impressum | Sitemap | KIT
Foto
Ansprechpartner
Felix Bach
Steinbuch Centre for Computing (SCC)

bachHoc6∂kit edu

bwDataArchive - Archivierung von Forschungsdaten

Der Dienst bwDataArchive bildet die technische Infrastruktur zur langfristigen Archivierung von Forschungs- und Bibliotheksdaten für den Archivstandort Baden-Württemberg.
Interior of StorageTek tape library at NERSC (2),  Foto: Wikimedia Commons, Derrick Coetzee

Der Dienst bwDataArchive

Der Landesdienst bwDataArchive bietet eine technische Infrastruktur zur langfristigen Datenarchivierung, die insbesondere für Universitäten und öffentliche Forschungseinrichtungen aus Baden-Württemberg zur Verfügung gestellt wird. Die Datenarchivierung erfolgt am Karlsruher Institut für Technologie (KIT) und umfasst eine verlässliche Speicherung auch großer Datenbestände für einen Zeitraum von zehn oder mehr Jahren. Der Dienst ermöglicht eine qualifizierte Umsetzung der Empfehlungen der Deutschen Forschungsgemeinschaft (DFG) zur Sicherung und Aufbewahrung von Forschungsdaten.

Motivation

Daten von wissenschaftlichen Experimenten, von Messungen, Analysen und Simulationen sollen langfristig aufbewahrt werden. Der Erhalt dieser digitalen Daten ist nicht nur aus rechtlichen Gründen wichtig, sondern auch aufgrund der historischen Werte der Daten und der Nachvollziehbarkeit der Forschung. Am Steinbuch Centre for Computing (SCC) des KIT wird die Menge dieser Daten in den kommenden Jahren stark ansteigen, unter anderem aufgrund der Rolle des KIT als Archivstandort für Baden-Württemberg. Innerhalb des vom Ministerium für Wissenschaft, Forschung und Kunst (MWK) in Baden-Württemberg geförderten Landesprojekts „bwDataArchiv“ (als Projektname ohne 'e') wird das SCC seine technische Infrastruktur für die langfristige Archivierung wissenschaftlicher Daten aus Forschungseinrichtungen und Bibliotheken, sowie anfallende Daten der Großrechner des Höchstleistungsrechenzentrums Stuttgart (HLRS) weiter ausbauen. Im Rahmen des Projekts bwDataArchiv werden Technologien entwickelt und eingesetzt, die eine strukturierte, verlässliche und sichere Langzeitspeicherung von mehr als einem Exabyte bis 2020 ermöglichen. Als begleitende Maßnahme werden im Rahmen des Projekts bwDIM - Data In Motion - Möglichkeiten zur effizienten Anbindung aufsetzender Dienste untersucht und prototypisch realisiert.

Im Projekt bwDataArchiv sind unter anderem die folgenden Fragestellungen von Interesse:

  • Wie vereinfacht man den Prozess der Datenarchivierung auch für IT-ferne Wissenschaftsgemeinden?
  • Welche sicherheitsrelevanten Aspekte spielen bei Langzeitspeicherung eine Rolle?
  • Wie kann die Datenintegrität effizient in Archiven von hunderten Petabytes sichergestellt werden? 

 

Ziele

Im Projekt sollen etablierte und zuverlässige Techniken zur digitalen Langzeitspeicherung ausgewählt und in den Betrieb überführt werden. Ziel ist der Aufbau einer technischen Infrastruktur zur Langzeitspeicherung und die Etablierung eines Dienstes als Basis für verlässliche Langzeitarchivierung von wissenschaftlichen und kulturrelevanten Daten.

Die Entwicklung des neuen Dienstes wird im vierten Quartal 2016 so weit vorangeschritten sein, dass Daten von abgeschlossenen Projekten des HLRS aufgenommen und verlässlich archiviert werden können. Im ersten Schritt wurde die Beschaffung der erforderlichen Hard- und Software durchgeführt und der initiale Dienst für das HLRS bereitgestellt. Anhand erster Erfahrungen wird nun der Dienst im Projekt für weitere Nutzer etabliert werden und im Hinblick auf Integrität, Nutzbarkeit und Verfügbarkeit im zweiten Schritt weiterentwickelt werden.

 

Förderung und Kooperationen

Das bwDataArchiv-Projekt wird vom Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg gefördert und arbeitet eng mit den DFG-Projekten RADAR, dem Landesprojekt bwDataDiss, im Rahmen des Helmholtz-Projekts LSDMA mit verschiedenen wissenschaftlichen Communities sowie den internationalen Projekten EUDAT, Human Brain Project (HBP) und dem World Wide LHC Computing Grid (WLCG) zusammen.