Файл robots.txt — запрет индексации для Яндекса и Google. Создание правильного robots.txt для WordPress

Здравствуйте уважаемые читатель SEO-Mayak.com! Сегодня я коснусь такой немаловажной темы, как «Индексация сайта поисковыми роботами». Вернее, речь пойдет как раз о запрете для индексации файлов не относящихся к контенту.
Зачем запрещать индексацию? Отвечая на этот вопрос я сразу оговорюсь, не надо запрещать поисковикам индексировать блог, необходимо наоборот всячески этому способствовать. Закрывать от индексации нужно только те файлы, которые не содержат полезную информацию. К таким относятся: системные файлы WordPress, а также дубли контента и некоторые другие файлы.
Наша задача правильно указать дорогу поисковым роботам к действительно важным файлам и «опустить шлагбаум» на пути к всякому «мусору». Для этого в арсенале у вебмастеров есть два незаменимых инструмента. С их помощью можно правильно организовать движение поисковиков по блогу, расставить «дорожные знаки» и приоритеты.
Настройка ссылок ЧПУ на WordPress. Плагин RusToLat

Всем привет! Сегодня на SEO-Mayak.com в рамках рубрики WordPress для новичков будем учится настраивать ссылки ЧПУ.
Аббревиатура ЧПУ означает — человекопонятные урлы, т.е URL понятный человеку, вот такое название придумали.
Настраивать ссылки ЧПУ необходимо сразу после создания блога пока поисковики не успели проиндексировать Ваши первые статьи.
Чем ЧПУ лучше ? Зачем такая спешка? Причем тут поисковики? Вот такие вопросы я наверное бы захотел задать несколько лет назад. Давайте все по-порядку.