1. Robots.txt за 30 секунд
2. Лучший robots.txt для WordPress
3. использование
4. Примечания и обновления
5. Ранее на robots.txt ..
6. Учить больше..

Очистка моих файлов во время недавнего переконструировать Я понял, что прошло несколько лет с тех пор, как я в последний раз смотрел файл robots.txt на сайте. Я думаю, что это хорошо, но со всеми изменениями в структуре и содержании сайта, пришло время для восхитительной возни с robots.txt.

В этом посте кратко изложены мои исследования и дан почти идеальный файл роботов, так что вы можете копировать / вставлять полностью «как есть» или использовать шаблон, чтобы дать вам отправную точку для ваших собственных настроек.

Robots.txt за 30 секунд

Прежде всего, директивы роботов запрещают покорным паукам доступ к указанным частям вашего сайта. Они также могут явно разрешить доступ к определенным файлам и каталогам. Таким образом, в основном они используют Google, Bing и другие, чтобы знать, куда они могут перейти при посещении вашего сайта. Вы также можете делать изящные вещи, такие как инструктирование определенных пользовательских агентов и объявление файлов сайта. Для простого текстового файла robots.txt обладает значительной мощностью. И мы хотим использовать любую силу, какую только сможем, чтобы получить наше наибольшее преимущество.

Лучший robots.txt для WordPress

Запустив WordPress, вы хотите , чтобы поисковые системы сканировали и индексировали ваши посты и страницы, но не ваши основные WP-файлы и каталоги. Вы также хотите убедиться, что каналы и обратные ссылки не включены в результаты поиска. Также рекомендуется объявить карту сайта. Имея это в виду, вот новые и улучшенные правила robots.txt для WordPress :

Пользовательский агент: * Disallow: / wp-admin / Disallow: / trackback / Disallow: /xmlrpc.php Disallow: / feed / Разрешить: /wp-admin/admin-ajax.php Карта сайта: https://example.com/ sitemap.xml

Требуется только одно небольшое редактирование: измените файл Sitemap в соответствии с местоположением карты сайта (или удалите строку, если карта сайта недоступна).

Я использую этот точный код почти на всех своих основных сайтах. Также хорошо настроить правила, скажем, если вам нужно исключить какие-либо пользовательские каталоги и / или файлы, основываясь на вашей фактической структуре сайта и стратегии SEO.

использование

Чтобы добавить код правил роботов на свой сайт на WordPress, просто скопируйте / вставьте код в пустой файл с именем robots.txt. Затем добавьте файл в корневой каталог, доступный через Интернет, например:

https://perishablepress.com/robots.txt

Если вы посмотрите на содержимое robots.txt файл для скоропортящихся прессов вы заметите дополнительную директиву о роботах, которая запрещает доступ для сканирования черная дыра сайта для плохих ботов , Давайте посмотрим:

User-agent: * Disallow: / wp-admin / Disallow: / trackback / Disallow: /xmlrpc.php Disallow: / feed / Disallow: / blackhole / Разрешить: /wp-admin/admin-ajax.php Карта сайта: https: / /perishablepress.com/sitemap.xml

Паукам не нужно ничего ползать в / wp-admin /, так что это запрещено. Точно так же не нужно сканировать трекбэки, xmlrpc и каналы, поэтому мы также запрещаем их. Также обратите внимание, что мы добавили явную директиву Allow, которая разрешает доступ к файлу Ajax WordPress, чтобы сканеры и боты имели доступ к любому содержимому, сгенерированному Ajax. Наконец, мы обязательно объявляем местоположение нашей карты сайта, только чтобы сделать ее официальной.

Примечания и обновления

Обновить! Следующие директивы были удалены из проверенных и действительных правил robots.txt, чтобы удовлетворить новые требования Google, согласно которым googlebot всегда разрешает полный доступ для сканирования к любому общедоступному файлу.

Disallow: / wp-content / Disallow: / wp-includes /

Поскольку / wp-content / и / wp-includes / включают некоторые общедоступные файлы CSS и JavaScript, рекомендуется всегда разрешать googlebot полный доступ к обоим каталогам. В противном случае вы будете тратить драгоценное время на то, чтобы следить за изменениями структур и имен файлов в WordPress и пытаться синхронизировать их с каким-то сложным набором правил роботов. Просто проще разрешить открытый доступ к этим каталогам. Таким образом, две вышеуказанные директивы были окончательно удалены из robots.txt и в целом не рекомендуются.

Очевидно, Google так жестко относится к этому новому требованию1, что фактически наказывает сайты (ОЧЕНЬ много) за несоблюдение2. Плохие новости для сотен тысяч владельцев сайтов, у которых есть дела поважнее, чем идти в ногу с постоянными, часто произвольными изменениями Google.

• 1 Google требует полного доступа ко всем общедоступным файлам.
• 2 Обратите внимание, что может быть допустимо запретить доступ ботов к / wp-content / и / wp-includes / для других (не Google) ботов. Сделайте свое исследование, хотя, прежде чем делать какие-либо предположения.

Ранее на robots.txt ..

Как уже упоминалось, мой предыдущий файл robots.txt не менялся в течение нескольких лет (который исчез в мгновение ока). Предыдущие правила оказались весьма эффективными, особенно с такими пауками, как googlebot. К сожалению, он содержит язык, который понимают лишь немногие крупные поисковые системы (и, следовательно, подчиняются ему). Рассмотрим следующие правила роботов, которые были использованы здесь в Скоропортящиеся прессы Обратно в тот же день.

Важный!

Пожалуйста, не используйте следующие правила на любом живом сайте. Они предназначены только для справочных и учебных целей. Для живых сайтов используйте Лучшие правила robots.txt , предоставленный в предыдущем разделе. User-agent: * Disallow: / mint / Disallow: / labs / Disallow: / * / wp- * Disallow: / * / feed / * Disallow: / * / *? S = * Disallow: /*/*.js$ Disallow: /*/*.inc$ Disallow: / перевод / Disallow: / * / cgi-bin / * Disallow: / * / blackhole / * Disallow: / * / trackback / * Disallow: /*/xmlrpc.php Разрешить: / * / 20 * / wp- * Разрешить: / press / feed / $ Allow: / press / tag / feed / $ Allow: / * / wp-content / online / * Карта сайта: https://perishablepress.com/sitemap .xml User-agent: ia_archiver Запретить: /

Очевидно, подстановочный знак не распознается младшими ботами, и я думаю, что символ конечного шаблона (знак доллара $), вероятно, тоже не очень хорошо поддерживается, хотя Google, безусловно, получает его.

Эти шаблоны могут быть лучше поддержаны в будущем, но в будущем нет причин их включать. Как видно из правил «лучшие роботы» (выше), такое же сопоставление с образцом возможно без использования подстановочных знаков и знаков доллара, что позволяет всем совместимым ботам понять ваши предпочтения при сканировании.

Учить больше..

Ознакомьтесь со следующими рекомендуемыми источниками, чтобы узнать больше о robots.txt, SEO и многом другом:

Похожие

Комментарии