Qu'est-ce que le fichier robots.txt ?
Le fichier robots.txt est un document texte résidant
au niveau racine d'un site web. Ce document est utilisé pour
contrôler l'accès des spiders aux documents d'un
site. Certains documents, comme les statistiques du site, ou bien des
parties du site en construction, peuvent ainsi demeurer privées.
Il est très important de ne pas permettre aux robots d'accéder
à certaines sections si elles incluent du contenu identique ou
similaire à d'autres sections. La pénalité que
certains moteurs infligent à ce type de situation peut nuire
au référencement.
Quand certains spiders se connectent à un site, il vérifient
la présence de ce fichier. Seulement les spiders qui adhèrent
au Robots
Exclusion Standard se conforment aux commandes qui y sont inscrites.
C'est le cas des moteurs de recherche majeurs.
En savoir plus sur le fichier robots.txt
(À l'aide du moteur de recherche
interne)
Voir aussi : Spider |
Index | Moteur
de recherche | Référencement
|
