Поисковые системы стали индексировать все, что движется. Движется SQL запросами, движется по FTP, благо не индексируют то, что защищено. Можно защитить свой блог с помощью robots.txt

Первый вопрос из зала: «мне нечего скрывать на блоге — я для того его и веду, чтобы все обо всём знали. И чем больше поисковик найдет, проиндексирует и проранжирует, тем больше у меня будет трафика!»

— Так бы оно и было, если бы вы вели блог в блокноте, и не использовали бы ленты трансляций, плагины вордпресса и страницы комментариев. Иначе, любая CMS система (и wordpress тоже) вносит своё видение ваших страниц: создаёт копии, создаёт скриптовые директории. И, вместо того, чтобы индексировать драгоценный контент вашего блога, поисковые системы индексируют копии постов, найденных по облаку тегов; индексируют служебные скрипты, которые не попадут в выдачу и пр.

Чтобы облегчить жизнь своему вордпрес блогу (ускорить индексацию контента) и поисковому роботу (сократить работу по скачиванию/удалению не контекстного «мусора»), добавим в корень сайта robots.txt: инструкцию для поисковика куда ходить, а куда «снег башка упадет».

Robots.txt для блога на WordPress выглядит так:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /tag/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?

И напоследок, видео от Яндекса: