Google File System

Das Google File System (GFS oder GoogleFS) ist ein proprietäres verteiltes Dateisystem für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der Google-Suche und später auch aus Gmail zu speichern und zu verarbeiten.^[1][2] Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen Linux-Dateisystem persistieren. Das Google File System unterteilt die Dateien dafür in Chunks, so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1 MB aktualisiert wurde (Stand 2009).^[2] Das Google File System arbeitet eine Abstraktionsebene höher als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von Verfügbarkeit und Konsistenz der Daten.^[1] Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.^[2]

1. ↑ ^{a b} Referenzfehler: Ungültiges <ref>-Tag; kein Text angegeben für Einzelnachweis mit dem Namen google-fs-paper-2003.
2. ↑ ^{a b c} Referenzfehler: Ungültiges <ref>-Tag; kein Text angegeben für Einzelnachweis mit dem Namen google-fs-2-2009.