Q:
Comment puis-je apprendre à utiliser Hadoop pour analyser les mégadonnées?
UNE:L'ensemble de logiciels Apache connu sous le nom de Hadoop devient une ressource très populaire pour gérer les ensembles de données volumineux. Ce type de cadre logiciel de gestion des données a été conçu pour aider à regrouper les données de manière spécifique, sur la base de conceptions qui peuvent rendre certains types de projets de données plus efficaces. Cela dit, Hadoop n'est que l'un des nombreux outils permettant de gérer de grands ensembles de données.
L'un des premiers moyens les plus élémentaires pour en savoir plus sur l'analyse des mégadonnées avec Hadoop est de comprendre certains des composants de haut niveau de Hadoop et ce qu'il fait. Il s'agit notamment d'une "plate-forme de gestion des ressources" Hadoop YARN qui peut être appliquée à certains types de configurations réseau, ainsi que d'un ensemble de fonctions Hadoop MapReduce qui s'appliquent aux ensembles de données volumineuses. Il existe également un système de fichiers distribués Hadoop (HDFS), qui permet de stocker des données sur des systèmes distribués afin de pouvoir les indexer ou les récupérer rapidement et efficacement.
Au-delà de cela, ceux qui veulent se familiariser avec Hadoop peuvent consulter les ressources publiées individuelles pour les professionnels qui expliquent le logiciel à un niveau comparable. Cet exemple de Chris Stucchio sur un blog personnel fournit un excellent ensemble de points sur Hadoop et l'échelle des données. L'un des points à retenir de base est que Hadoop peut être plus couramment utilisé qu'il n'est nécessaire et peut ne pas être la meilleure solution pour un projet individuel. L'examen de ces types de ressources aidera les professionnels à se familiariser avec les détails de l'utilisation de Hadoop dans un scénario donné. Stucchio fournit également des métaphores pour relier les fonctions de Hadoop à des tâches physiques spécifiques. Ici, l'exemple compte le nombre de livres dans une bibliothèque, tandis qu'une fonction Hadoop peut diviser cette bibliothèque en sections, fournissant des comptages individuels qui sont mélangés en un résultat de données agrégées.
Un moyen plus approfondi permettant aux professionnels d'en savoir plus sur Hadoop et son application aux mégadonnées est par le biais de ressources et de programmes de formation spécifiques. Par exemple, la société d'apprentissage en ligne Cloudera, un important fournisseur de sessions de formation à distance, propose un certain nombre d'options intéressantes concernant l'utilisation de Hadoop et des types similaires de traitement des données.
