Robots.txt

Sites de l'annuaire

Voici des sites figurant dans notre annuaire (inscription gratuite) :

Définitions

Voici des définitions figurant dans notre dictionnaire :

robots.txt : Fichier de directives destinées aux robots des moteurs de recherche.De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers. Il est possi...

Lien mort : Un lien est dit mort si la page de destination n'est pas (ou plus) accessible.Les robots des moteurs de recherche vérifient l'absence de liens brisés sur les pages web. Un lien mort se traduit par une erreur HTTP dont le code est 404 (not found ou no...

Mediapartner : Nom du robot d'indexation (crawler) de Google pour les partenaires AdSense for Content.Mediapartner parcourt et indexe les sites affichant des Adsense, afin de pouvoir adapter le contenu de ces publicités à celui de la page les affichant.Mediapartner...

Cloaking : Technique permettant de fournir une page différente aux moteurs de recherche de celle visible par un internaute.Le cloaking consiste à détecter à chaque fois qu'une page est demandée par un visiteur s'il s'agit d'un internaute humain ou d'un robot d'...

Undernet : Il existe plusieurs réseau IRC distincts, composé chacun de plusieurs dizaines de serveurs répartis sur toute la planète.Il faut se relier à l'un de ces réseaux en passant de préférence par un serveur proche l'internaute. Peu importe d'être ...

Actualités

Voici les dernières actualités analysées par notre agrégateur au sujet de "robots.txt" :

Ils ont construit des robots pour aller dans l'espace (leParisien.com - A la une des départements, 2008-05-21)

Nogent-sur-Marne ILS ONT TRAVAILLÉ comme des grands ! 150 élèves européens, français, italiens, espagnols, portugais, allemands et polonais, et leurs encadrants ont réalisé pendant deux ans des robots contrôlés à distance par Internet. Des robots conçus sur le même... Publié le 21.05.08

Les robots nous abreuvent de sodas (Gizmodo, 2008-05-19)

Ces répliques miniatures de robots distributeurs de soda que l'on trouve au Japon décoreront avec goût votre bureau ou votre vitrine de collection de robots. Outre la version noire Coke Zero, il existe aussi la version normale, visible après le saut. Et ils sont vendus dans des boites magnifiquement illustrées dans un esprit rétro:

Créer un fichier robots.txt (Optimisation de pages Web, 2008-05-18)

Présentation du fichier robots.txtLe fichier robots.txt est un fichier texte qui se trouve obligatoirement à la racine du site. C'est un fichier à destination des moteurs de recherche et qui sert à leur apporter des indication précieuses les concernant. Le nom du fichier doit toujours écrit en miniscules et au pluriel.Forme du fichierOn y trouve deux sortes d'informations :? User-Agent: permet de préciser le robot concerné par les directives suivantes. La valeur * signifie tous les moteurs de recherche. ? Disallow: permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie toutes les pages du site. Remarque inportante : Le fichier robots.txt ne doit contenir aucune ligne vide.Comment réer un fichier robots.txt'Voici des exemples de fichier robots.txt : ? Exclusion de toutes les pages : User-Agent: *Disallow: /? Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) : User-Agent: *Disallow: ? Autorisation d'un seul robot : User-Agent: nomDuRobotDisallow :User-Agent: *Disallow: /? Exclusion d'un robot : User-Agent: NomDuRobotDisallow: /User-Agent: *Disallow:? Exclusion d'une page : User-Agent: *Disallow: /repertoire/chemin/page.html? Exclusion de plusieurs page : User-Agent: *Disallow: /repertoire/chemin/page.htmlDisallow: /repertoire/chemin/page2.htmlDisallow: /repertoire/chemin/page3.html? Exclusion de toutes les page...

Les robots font leur festival (leParisien.com - A la une des départements, 2008-05-17)

MANTES-LA-JOLIE. CONSTRUIRE une maison, servir un cocktail ou encore pénétrer dans des lieux difficilement accessibles pour sauver des vies humaines... Aujourd'hui, les robots sont décidément capables de beaucoup de prouesses. Et le festival qui leur est consacré jusqu'à... Publié le 17.05.08