Apache Hadoop

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania
Apache Hadoop
Logo Apache Hadoop
Logo programu
Autor Apache Software Foundation
Pierwsze wydanie 27 grudnia 2011; ponad 7 lat temu[1]
Aktualna wersja stabilna 3.2.0 / 16 stycznia 2019; ponad 8 miesięcy temu[2]
Język programowania Java
System operacyjny Wieloplatformowa
Rodzaj Framework
Licencja Apache License 2.0
Strona internetowa

Apache Hadoopotwarta platforma programistyczna napisana w języku Java przeznaczona do rozproszonego składowania i przetwarzania wielkich zbiorów danych przy pomocy klastrów komputerowych. Jest jednym z projektów rozwijanych przez fundację Apache. Wszystkie moduły Hadoop zostały zaprojektowane z założeniem, że awarie sprzętowe są rzeczą naturalną i powinny być automatycznie obsługiwane przez framework.

Apache Hadoop składa się z następujących modułów:

  • Hadoop Common – biblioteki i narzędzia używane przez pozostałe moduły;
  • Hadoop Distributed File System (HDFS) – rozproszony system plików[3];
  • Hadoop YARN – platforma do zarządzania zasobami klastra;
  • Hadoop MapReduce[4] – implementacja paradygmatu MapReduce do przetwarzania dużych ilości danych.

Określenie Hadoop często jest używane nie tylko w odniesieniu do powyższych modułów, ale także do całego ekosystemu aplikacji, które mogą być używane w połączeniu z Hadoop: Apache Pig, Apache Hive, Apache HBase, Apache Phoenix, Apache Spark, Apache ZooKeeper, Cloudera Impala, Apache Flume, Apache Sqoop, Apache Oozie, Apache Storm.

Moduły MapReduce i HDFS zostały zainspirowane materiałami Google na temat ich implementacji MapReduce i ich rozproszonego systemu plików Google File System.

Jeszcze zanim osiągnął wydanie stabilne, był już wykorzystywany w poważnych zastosowaniach (Amazon, AOL, Facebook, Yahoo).

Autorami projektu są Doug Cutting[5] oraz Mike Cafarella[6].

Przypisy[edytuj | edytuj kod]

  1. Hadoop Releases (ang.). [dostęp 2014-12-06].
  2. Hadoop Releases (ang.). [dostęp 2019-08-06].
  3. What is the Hadoop Distributed File System (HDFS)? (ang.)
  4. Hadoop MapReduce Tutorial 2017-07-29 (ang.)
  5. Hadoop Creator goes to Cloudera 2015-11-26 (ang.)
  6. Cutting out for Cloudera just in time (ang.). [dostęp 2018-08-24].

Linki zewnętrzne[edytuj | edytuj kod]