Table des matières:
Définition - Que signifie Web Crawler?
Un robot d'indexation Web est un bot Internet qui aide à l'indexation Web. Ils parcourent une page à la fois sur un site Web jusqu'à ce que toutes les pages aient été indexées. Les robots d'indexation Web aident à collecter des informations sur un site Web et les liens qui s'y rapportent, ainsi qu'à valider le code HTML et les hyperliens.
Un robot d'indexation Web est également connu sous le nom d'araignée Web, d'indexeur automatique ou simplement de robot d'indexation.
Techopedia explique Web Crawler
Les robots d'indexation Web collectent des informations telles que l'URL du site Web, les informations de balise Meta, le contenu de la page Web, les liens dans la page Web et les destinations menant à partir de ces liens, le titre de la page Web et toute autre information pertinente. Ils gardent une trace des URL qui ont déjà été téléchargées pour éviter de télécharger à nouveau la même page. Une combinaison de stratégies telles que la stratégie de re-visite, la stratégie de sélection, la stratégie de parallélisation et la stratégie de politesse détermine le comportement du robot d'indexation Web. Il existe de nombreux défis pour les robots d'exploration du Web, à savoir le World Wide Web grand et en constante évolution, les compromis de sélection de contenu, les obligations sociales et la gestion des adversaires.
Les robots d'indexation Web sont les composants clés des moteurs et systèmes de recherche Web qui examinent les pages Web. Ils aident à indexer les entrées Web et permettent aux utilisateurs d'envoyer des requêtes par rapport à l'index et fournissent également les pages Web qui correspondent aux requêtes. Une autre utilisation des robots d'indexation Web est dans l'archivage Web, qui implique de grands ensembles de pages Web à collecter et archiver périodiquement. Les robots d'indexation Web sont également utilisés dans l'exploration de données, dans laquelle les pages sont analysées pour différentes propriétés telles que les statistiques, et l'analyse des données est ensuite effectuée sur elles.
