Table des matières:
Définition - Que signifie le chaînage des tâches?
Le chaînage des travaux est un terme dans MapReduce qui fait référence au lancement de plusieurs étapes dans la même tâche MapReduce. Avec le chaînage des travaux, le premier travail envoie la sortie à un travail, qui envoie la sortie au travail suivant dans la chaîne, et ainsi de suite jusqu'à ce que le travail soit terminé. Il s'agit d'une forme de pipeline des travaux MapReduce pour les rendre plus faciles à gérer.
Techopedia explique le chaînage des emplois
Le chaînage des travaux dans MapReduce fait référence à l'exécution de plusieurs tâches dans un seul travail MapReduce.
Par exemple, une chaîne d'emplois peut comprendre:
Carte1> Réduire1> Carte2> Réduire2
L'avantage du chaînage des travaux est qu'il élimine le besoin de données intermédiaires entre toutes les étapes d'un pipeline. En ce sens, le chaînage des travaux est similaire à la redirection d'entrée / sortie dans le shell Unix. La sortie d'un maillon de la chaîne est transmise à l'entrée du prochain travail de la chaîne. MapReduce permet aux développeurs de spécifier des dépendances ou quels travaux doivent être terminés avant de traiter les prochains travaux de la chaîne via l'utilisation de l'appel de méthode addDependingJob ().
Cela permet à un développeur d'écrire plus facilement un programme MapReduce capable de traiter de grandes quantités de données.
