Robot.txt дляBlogger
что это такое и с чем его едят.
Вот это и мы теперь рассмотрим.
Всем известно, что для того чтобы поисковый робот Яндекса и Гугла нашел ваш сайт или же блог, статьи нужно прописывать Robot.txt .
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера. Это из Википедия.
Другими словами robots.txt помогает поисковым роботам находить ваши файлы. Но это не всегда так бывает, если даже ваш контент уникален на все 100% . У меня сайт на Гугле. Поисковый робот Гугла нашел сайт сам очень быстро, но вот Яндекс никак не хочет. Для этого мы у себя делаем вот что.
В настройках в графе Метатеги прописываем наиболее важные слова описывающие ваш сайт или блог. Минус в том что можно только не более 150 знаков.
после же внизу есть две графы где нужно изменить следующее:
в графе пользовательский файл robots.txt нажимаем кнопку Изменить потом ставим галочку где Да, в открывшемся окне вставляем вот этот файл:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
