Datenübertragung

Die Datenspeicherung in bwDataArchiv erfolgt über das SFTP Protokoll.

Wichtige Informationen bevor Sie Daten archivieren

bwDataArchive bietet Ihnen Zugang zu großem kostengünstigen Speicher durch die Verwendung von Magnetbändern als Speichermedium. Dies hat diverse Auswirkungen:

  • Beim Schreiben von Dateien ins Archiv werden diese zunächst in einen Festplattencache gespeichert und im Hintergrund werden zwei redundante Bandkopien erstellt. Nach einer Weile wird der Festplattencache überschrieben.
  • Liegen angefragte Daten nicht bereits im Festplattencache, müssen diese zunächst von Bändern eingelesen werden, was eine Weile dauern kann (im Extremfall Minuten bis Stunden). Ihr SFTP-Client läuft in der Standardkonfiguration evtl. in einen Timeout, da die Zugriffszeiten nicht vergleichbar mit üblicher Speichertechnologie sind. Evtl. kann der Client entsprechend konfiguriert werden. Sollten von Ihnen angeforderte Daten nicht gleich verfügbar sein, werden diese noch von Bändern auf Festplatten kopiert - warten Sie ein paar Minuten und starten Sie den Transfer dann erneut.
  • Das automatische Einlegen und Spulen der Bänder kann zu langsamen Zugriffszeiten führen, z.B. einige zehn kB/s für viele kleine Dateien. Der Abruf einer kleinen Datei kann fast genau so lange dauern wie der einer sehr großen Datei.

Wir empfehlen daher dringend:

Fassen Sie Ihre Daten zu größeren Datensätzen zusammen

z.B. als TAR, ZIP, RAR etc., vor dem Upload. Verwenden Sie möglichst keine Dateien < 100 MB. Wir empfehlen Dateigrößen im GB-Bereich files for best performance. Das Abrufen vieler kleiner Dateien dauert viel länger als das von wenigen großen Dateien. Weiterführende Informationen finden Sie in den .

 

 

 

Das Protokoll SFTP für die Datenspeicherung in bwDataArchive:

Eine einfache Art der Datenübertragung ist über SFTP. SFTP Clients gibt es für alle gängigen Betriebssysteme:

  • Linux: sftp command, lftp (advanced), filezilla, ...
  • Windows: winscp, filezilla, ...
  • MacOS: filezilla etc.

Verwenden Sie den SFTP-Client ihrer Wahl. Bitte lesen Sie die Anleitung sorgfältig.
Wollen Sie vollständige Verzeichnisse übertragen und abgebrochene Transfers fortsetzen? Verwenden Sie unter Linux lftp .