Table des matières:
Définition - Que signifie Spider?
Dans le contexte d'Internet, une araignée est un logiciel spécialisé conçu pour systématiquement explorer et parcourir le World Wide Web dans le but d'indexer des pages Web afin de les fournir comme résultats de recherche pour les requêtes de recherche des utilisateurs. Le plus célèbre de ces araignées est le Googlebot, le principal robot d'exploration de Google, qui aide à garantir que les résultats pertinents sont renvoyés pour les requêtes de recherche.
Les araignées sont également connues sous le nom de robots d'exploration Web, de robots de recherche ou simplement de robots.
Techopedia explique Spider
Une araignée est essentiellement un programme utilisé pour récolter des informations sur le World Wide Web. Il parcourt les pages des sites Web en extrayant des informations et en les indexant pour une utilisation ultérieure, généralement pour les résultats des moteurs de recherche. L'araignée visite les sites Web et leurs pages via les différents liens vers et depuis les pages, donc une page sans un seul lien qui y mène sera difficile à indexer et peut être classée très bas sur la page des résultats de recherche. Et s'il y a beaucoup de liens pointant vers une page, cela signifierait que la page est populaire et qu'elle apparaîtrait plus haut dans les résultats de recherche.
Étapes impliquées dans l'exploration Web:
- L'araignée trouve un site et commence à explorer ses pages.
- L'araignée indexe les mots et le contenu du site.
- L'araignée visite les liens trouvés sur le site.
Les araignées ou les webcrawlers ne sont que des programmes et, à ce titre, ils suivent des règles systématiques définies par les programmeurs. Les propriétaires de sites Web peuvent également participer à cette tâche en indiquant à l'araignée quelles parties du site doivent être indexées et lesquelles ne doivent pas l'être. Cela se fait en créant un fichier "robots.txt" qui contient des instructions pour l'araignée concernant les parties à indexer et les liens à suivre et celles à ignorer. Les araignées les plus importantes sont celles détenues par les principaux moteurs de recherche tels que Google, Bing et Yahoo, et celles destinées à l'exploration de données et à la recherche, mais il existe également des araignées malveillantes écrites pour rechercher et collecter des e-mails que l'utilisateur doit vendre aux entreprises. ou pour trouver des vulnérabilités dans la sécurité Web.
