Zawartość
- Definicja - Co oznacza JobTracker?
- Wprowadzenie do Microsoft Azure i Microsoft Cloud | W tym przewodniku dowiesz się, na czym polega przetwarzanie w chmurze i jak Microsoft Azure może pomóc w migracji i prowadzeniu firmy z chmury.
- Techopedia wyjaśnia JobTracker
Definicja - Co oznacza JobTracker?
JobTracker to demon działający na silniku Apache Hadoops MapReduce. JobTracker jest niezbędną usługą, która przenosi wszystkie zadania MapReduce do różnych węzłów w klastrze, najlepiej do tych węzłów, które już zawierają dane lub przynajmniej znajdują się w tym samym szafie co węzły zawierające dane.
Wprowadzenie do Microsoft Azure i Microsoft Cloud | W tym przewodniku dowiesz się, na czym polega przetwarzanie w chmurze i jak Microsoft Azure może pomóc w migracji i prowadzeniu firmy z chmury.
Techopedia wyjaśnia JobTracker
JobTracker to usługa w ramach Hadoop, która odpowiada za przyjmowanie żądań klientów. Przypisuje je do TaskTrackers na DataNodes, gdzie wymagane dane są lokalnie obecne. Jeśli nie jest to możliwe, JobTracker próbuje przypisać zadania do TaskTrackers na tym samym stojaku, w którym dane są lokalnie obecne. Jeśli z jakiegoś powodu to również się nie powiedzie, JobTracker przypisuje zadanie do TaskTracker, w którym istnieje replika danych. W Hadoop bloki danych są replikowane między węzłami DataNodes, aby zapewnić nadmiarowość, dzięki czemu jeśli jeden węzeł w klastrze ulegnie awarii, zadanie również nie zawiedzie.
Proces JobTracker:
- Zlecenia pracy z aplikacji klienckich są odbierane przez JobTracker,
- JobTracker konsultuje węzeł NameNode w celu ustalenia lokalizacji wymaganych danych.
- JobTracker lokalizuje węzły TaskTracker, które zawierają dane lub przynajmniej znajdują się w pobliżu danych.
- Zadanie jest przesyłane do wybranego TaskTracker.
- TaskTracker wykonuje swoje zadania pod ścisłym nadzorem JobTracker. Jeśli zadanie się nie powiedzie, JobTracker po prostu ponownie przesyła zadanie do innego TaskTracker. Jednak sam JobTracker jest pojedynczym punktem awarii, co oznacza, że jeśli zawiedzie, cały system ulegnie awarii.
- JobTracker aktualizuje swój status po zakończeniu zadania.
- Klient żądający może teraz sondować informacje z JobTracker.