Je viens de voir dans le fichier robots.txt de dmoz
(http://dmoz.org/robots.txt)
la ligne:
Disallow: /Bookmarks/
Ca veut dire que les moteurs n'ont pas la permission d'indexer les bookmarks?
Mais en allant plus loin dans le fichier, on trouve des exceptions, exemple:
Allow: /Bookmarks/A/autumn/
Qu'est-ce qui justifie de telles mesures selectives?
Comment peut-on faire, a ce moment la, pour que les pages de nos bookmarks dmoz soient indexées sur les moteurs?
(http://dmoz.org/robots.txt)
la ligne:
Disallow: /Bookmarks/
Ca veut dire que les moteurs n'ont pas la permission d'indexer les bookmarks?
Mais en allant plus loin dans le fichier, on trouve des exceptions, exemple:
Allow: /Bookmarks/A/autumn/
Qu'est-ce qui justifie de telles mesures selectives?
Comment peut-on faire, a ce moment la, pour que les pages de nos bookmarks dmoz soient indexées sur les moteurs?