Hadoop

Hadoop

Informations

Créateur	Doug Cutting et Mike Cafarella (en)
Développé par	Apache Software Foundation
Première version	1er avril 2006[1]
Dépôt	git-wip-us.apache.org/repos/asf/hadoop.git, gitbox.apache.org/repos/asf?p=hadoop.git et github.com/apache/hadoop
Écrit en	Java
Système d'exploitation	Multiplateforme et POSIX
Environnement	Machine virtuelle Java
Type	Framework
Licence	Licence Apache 2.0 et licence publique générale GNU
Documentation	cwiki.apache.org/confluence/display/hadoop
Site web	hadoop.apache.org

modifier - modifier le code - voir Wikidata (aide)

Hadoop est un framework libre et open source écrit en Java destiné à faciliter la création d'applications distribuées (au niveau du stockage des données et de leur traitement) et échelonnables (scalables) permettant aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Ainsi chaque nœud est constitué de machines standard regroupées en grappe. Tous les modules de Hadoop sont conçus selon l'idée que les pannes matérielles sont fréquentes et qu'en conséquence elles doivent être gérées automatiquement par le framework.

Hadoop a été inspiré par la publication de MapReduce, GoogleFS et BigTable de Google. Hadoop a été créé par Doug Cutting et fait partie des projets de la fondation logicielle Apache depuis 2009.

Le noyau d'Hadoop est constitué d'une partie de stockage : HDFS (Hadoop Distributed File System), et d'une partie de traitement appelée MapReduce. Hadoop fractionne les fichiers en gros blocs et les distribue à travers les nœuds du cluster. Pour traiter les données, il transfère le code à chaque nœud et chaque nœud traite les données dont il dispose. Cela permet de traiter l'ensemble des données plus rapidement et plus efficacement que dans une architecture supercalculateur plus classique^{[réf. nécessaire]} qui repose sur un système de fichiers parallèle où les calculs et les données sont distribués via les réseaux à grande vitesse.

Le framework Hadoop de base se compose des modules suivants :

• Hadoop Common ;
• Hadoop Distributed File System (HDFS), système de fichiers ;
• Hadoop YARN ;
• Hadoop MapReduce ;

Le terme Hadoop se réfère non seulement aux modules de base ci-dessus, mais aussi à son écosystème et à l'ensemble des logiciels qui viennent s'y connecter comme Apache Pig, Apache Hive, Apache HBase, Apache Phoenix, Apache Spark, Apache ZooKeeper, Apache Impala, Apache Flume, Apache Sqoop, Apache Oozie, Apache Storm.