Table des matières:
Définition - Que signifie JobTracker?
JobTracker est un démon qui s'exécute sur le moteur MapReduce d'Apache Hadoop. JobTracker est un service essentiel qui regroupe toutes les tâches MapReduce vers les différents nœuds du cluster, idéalement vers les nœuds qui contiennent déjà les données, ou tout au moins sont situés dans le même rack que les nœuds contenant les données.
Techopedia explique JobTracker
JobTracker est le service au sein de Hadoop qui est responsable de prendre les demandes des clients. Il les attribue aux TaskTrackers sur DataNodes où les données requises sont présentes localement. Si cela n'est pas possible, JobTracker essaie d'affecter les tâches aux TaskTrackers dans le même rack où les données sont localement présentes. Si, pour une raison quelconque, cela échoue également, JobTracker attribue la tâche à un TaskTracker où une réplique des données existe. Dans Hadoop, les blocs de données sont répliqués sur DataNodes pour garantir la redondance, de sorte que si un nœud du cluster échoue, le travail n'échoue pas également.
Processus JobTracker:
- Les demandes de travail des applications client sont reçues par le JobTracker,
- JobTracker consulte le NameNode afin de déterminer l'emplacement des données requises.
- JobTracker localise les nœuds TaskTracker qui contiennent les données ou au moins sont proches des données.
- Le travail est soumis au TaskTracker sélectionné.
- Le TaskTracker exécute ses tâches tout en étant étroitement surveillé par JobTracker. Si le travail échoue, JobTracker soumet simplement le travail à un autre TaskTracker. Cependant, JobTracker lui-même est un point de défaillance unique, ce qui signifie que s'il échoue, tout le système tombe en panne.
- JobTracker met à jour son état à la fin du travail.
- Le demandeur client peut désormais interroger les informations de JobTracker.
