1. Перво наперво - Что такое бюджет обхода?
2. Является ли оптимизация бюджета сканирования такой же, как SEO?
3. Как оптимизировать бюджет сканирования
4. 2. Используйте мультимедийные файлы осторожно
5. 3. Избегайте цепочек перенаправления
6. 4. Исправить неработающие ссылки
7. 5. Установите параметры для динамических URL
8. 6. Очистите карту сайта
9. 7. Используйте каналы
10. 8. Создание внешних ссылок
11. 9. Поддерживать целостность внутренних ссылок
12. Вывод: имеет ли значение бюджет сканирования?

Когда вы слышите слова «поисковая оптимизация», что вы думаете о? Мой разум сразу переходит к списку факторов ранжирования SEO, таких как правильные теги, релевантные ключевые слова, чистая карта сайта, отличные элементы дизайна и постоянный поток высококачественного контента.

Тем не мение, недавняя статья моего коллеги Евгений Хутарнюк заставил меня понять, что я должен добавить «бюджет сканирования» в свой список. В то время как многие эксперты по SEO не учитывают бюджет сканирования, поскольку он не очень хорошо понят, Хутарнюк приводит некоторые убедительные доказательства - к которым я вернусь позже в этом посте - этот бюджет сканирования может и должен быть оптимизирован.

Это заставило меня задуматься: как оптимизация бюджета сканирования пересекается с SEO, и что веб-сайты могут сделать для повышения скорости сканирования?

Перво наперво - Что такое бюджет обхода?

Веб-сервисы и поисковые системы используют ботов-искателей, называемых «пауками», для сканирования веб-страниц, сбора информации о них и добавления их в свой индекс. Эти пауки также обнаруживают ссылки на посещаемых ими страницах и пытаются сканировать эти новые страницы.

Примеры ботов, с которыми вы, вероятно, знакомы, включают Googlebot , который обнаруживает новые страницы и добавляет их в индекс Google, или Bingbot , Эквивалент Microsoft. Большинство инструментов SEO и других веб-сервисов также используют пауков для сбора информации. Например, индекс обратных ссылок моей компании, WebMeUp , построен с использованием паука под названием BLEXBot , который сканирует до 15 миллиардов страниц ежедневно, собирая данные обратных ссылок.

Количество раз, которое паук поисковой системы сканирует ваш сайт за определенное время, - это то, что мы называем вашим «бюджетом сканирования». Поэтому, если робот Googlebot посещает ваш сайт 32 раза в день, мы можем сказать, что ваш типичный бюджет сканирования Google составляет примерно 960 за месяц.

Вы можете использовать такие инструменты, как Google Search Console а также Инструменты Bing для веб-мастеров чтобы определить приблизительный бюджет сканирования вашего сайта. Просто войдите в Crawl> Crawl Stats, чтобы увидеть среднее количество страниц, просканированных за день.

Является ли оптимизация бюджета сканирования такой же, как SEO?

И да и нет. В то время как оба типа оптимизации направлены на то, чтобы сделать вашу страницу более заметной и могут повлиять на результаты поисковой выдачи, SEO делает больший акцент на пользовательском опыте, тогда как оптимизация паука целиком и полностью ориентирована на ботов. Как говорит Нил Патель KISSmetrics :

«Поисковая оптимизация больше ориентирована на процесс оптимизации запросов пользователей. Оптимизация робота Google направлена ​​на то, как сканер Google получает доступ к вашему сайту ».

Так как конкретно оптимизировать бюджет сканирования? Я собрал следующие девять советов, которые помогут вам сделать ваш сайт максимально доступным для сканирования.

Как оптимизировать бюджет сканирования

1. Убедитесь, что ваши страницы просматриваются

Ваша страница может сканироваться, если пауки поисковых систем могут находить ссылки на вашем веб-сайте и переходить по ним, поэтому вам нужно настроить .htaccess и robots.txt, чтобы они не блокировали критические страницы вашего сайта. Возможно, вы также захотите предоставить текстовые версии страниц, которые сильно зависят от мультимедийных файлов, таких как Flash и Silverlight.

Конечно, верно обратное, если вы не хотите, чтобы страница отображалась в результатах поиска. Однако недостаточно просто установить свой Robots.txt на «Disallow», если вы хотите остановить индексацию страницы. По данным Google : «Robots.txt Disallow не гарантирует, что страница не будет отображаться в результатах».

Если внешняя информация (например, входящие ссылки) продолжает направлять трафик на запрещенную вами страницу, Google может решить, что страница по-прежнему актуальна. В этом случае вам нужно будет вручную заблокировать индексацию страницы с помощью метатега noindex robots или HTTP-заголовка X-Robots-Tag.

• Метатег noindex: поместите следующий метатег в раздел <head> вашей страницы, чтобы большинство веб-сканеров не проиндексировали вашу страницу:

noindex »/>

• X-Robots-Tag: поместите в ответ HTTP-заголовка следующее, чтобы сканеры не индексировали страницу:

X-Robots-Tag: noindex

Обратите внимание, что если вы используете метатег noindex или X-Robots-Tag, вы не должны запрещать страницу в robots.txt. Страница должна быть просканирована до того, как тег будет увиден и подчинен.

2. Используйте мультимедийные файлы осторожно

Было время, когда робот Google не мог сканировать контент, такой как JavaScript, Flash и HTML. Те времена в основном прошли (хотя Googlebot все еще борется с Silverlight и некоторыми другими файлами).

Тем не менее, даже если Google может читать большинство ваших мультимедийных файлов, другие поисковые системы не смогут, что означает, что вы должны использовать эти файлы разумно, и вы, вероятно, хотите избегать их полностью на страницах, которые вы хотите оценить.

Вы можете найти полный список файлы, которые Google может индексировать здесь ,

3. Избегайте цепочек перенаправления

Каждый URL, который вы перенаправляете на страницу, тратит немного вашего бюджета сканирования. Если на вашем веб-сайте имеются длинные цепочки перенаправления, то есть большое количество переадресаций 301 и 302 подряд, такие пауки, как Googlebot, могут выпасть до того, как они достигнут вашей страницы назначения, что означает, что эта страница не будет проиндексирована. Лучшая практика с перенаправлениями - размещать как можно меньше на своем веб-сайте и не более двух подряд.

4. Исправить неработающие ссылки

На вопрос, влияют ли неработающие ссылки на рейтинг в Интернете, Google Джон Мюллер однажды сказал :

Если то, что говорит Мюллер, является правдой, то это одно из фундаментальных отличий между SEO и оптимизацией робота Googlebot, поскольку это будет означать, что неработающие ссылки не играют существенной роли в рейтинге, даже если они сильно затрудняют способность робота Google индексировать и ранжировать ваш сайт.

Тем не менее, вы должны принять совет Мюллера с недоверием - алгоритм Google значительно улучшился за последние годы, и все, что влияет на пользовательский опыт, может повлиять на результаты поисковой выдачи.

5. Установите параметры для динамических URL

Пауки рассматривают динамические URL-адреса, которые ведут на одну и ту же страницу, как отдельные страницы, что означает, что вы можете излишне растрачивать свой бюджет сканирования. Вы можете управлять параметрами URL-адреса, перейдя в свою консоль поиска Google и нажав Сканирование> Параметры поиска . Отсюда вы можете сообщить роботу Google, если ваша CMS добавляет параметры к вашим URL, которые не изменяют содержимое страницы.

6. Очистите карту сайта

XML-карты сайта помогают как вашим пользователям, так и паукам-роботам, благодаря чему ваш контент лучше организован и его легче найти. Старайтесь поддерживать свою карту сайта в актуальном состоянии и очищать ее от любых помех, которые могут повредить удобству использования вашего сайта, включая страницы на 400 уровней, ненужные перенаправления, неканонические страницы и заблокированные страницы.

Самый простой способ очистить карту сайта - использовать такой инструмент, как Аудитор сайта (отказ от ответственности: мой инструмент). Вы можете использовать генератор XML Sitemap Site Auditor для создания чистой карты сайта, которая исключает все страницы, заблокированные из индексации. Кроме того, зайдя в Site Audit , вы можете легко найти и исправить все страницы статуса 4xx, перенаправления 301 и 302 и неканонические страницы.

7. Используйте каналы

Ленты такие как RSS, XML и Atom, позволяют веб-сайтам доставлять контент пользователям, даже если они не просматривают ваш веб-сайт. Это позволяет пользователям подписываться на свои любимые сайты и получать регулярные обновления при публикации нового контента.

Хотя RSS-каналы уже давно являются хорошим способом повысить читательскую аудиторию и заинтересованность, они также входят в число самых посещаемых сайтов Googlebot. Когда ваш сайт получает обновление (например, новые продукты, сообщения в блоге, обновление сайта и т. Д.), Отправьте его в Google. Горелка подачи так что вы уверены, что он правильно проиндексирован.

8. Создание внешних ссылок

Создание ссылок по-прежнему остается горячей темой, и я сомневаюсь, что оно скоро исчезнет. Как SEJ Анна Кроу изящно выразилась :

«Выстраивание отношений в Интернете, открытие новых сообществ, создание ценности бренда - эти маленькие победы уже должны быть отпечатками в вашем процессе планирования ссылок. Несмотря на то, что в 90-е годы существуют отдельные элементы построения ссылок, потребность человека в общении с другими никогда не изменится ».

Теперь, в дополнение к превосходному выводу Кроу, у нас также есть свидетельство эксперимента Евгения Хутарнюка о том, что внешние ссылки тесно связаны с количеством посещений паука вашим сайтом.

В своем эксперименте он использовал наши инструменты для измерения всех внутренних и внешних ссылок, указывающих на каждую страницу на 11 различных сайтах. Затем он проанализировал статистику сканирования на каждой странице и сравнил результаты. Это пример того, что он нашел только на одном из проанализированных им сайтов:

Хотя набор данных не может доказать какую-либо убедительную связь между внутренними ссылками и скоростью сканирования, Хутарнюк обнаружил общую « сильную корреляцию (0,978) между количеством посещений паука и количеством внешних ссылок. »

9. Поддерживать целостность внутренних ссылок

Хотя эксперимент Хутарнюка доказал, что внутреннее наращивание ссылок не играет существенной роли в скорости сканирования, это не значит, что вы можете полностью игнорировать его. Хорошо поддерживаемая структура сайта позволяет легко находить ваш контент поисковыми роботами, не тратя при этом бюджет на сканирование.

Хорошо организованная внутренняя структура ссылок также может улучшить взаимодействие с пользователем, особенно если пользователи могут получить доступ к любой области вашего сайта за три клика. В целом, сделать все более доступным означает, что посетители будут задерживаться дольше, что может улучшить ваши результаты поиска.

Вывод: имеет ли значение бюджет сканирования?

К настоящему времени вы, вероятно, заметили тенденцию в этой статье - лучшие рекомендации, которые улучшают вашу способность к сканированию, также улучшают вашу возможность поиска. Поэтому, если вы задаетесь вопросом, важна ли оптимизация бюджета сканирования для вашего сайта, ответ будет ДА ​​- и в любом случае это, вероятно, будет идти рука об руку с вашими усилиями по SEO.

Проще говоря, когда вы упростите для Google поиск и индексирование вашего веб-сайта, вы получите больше просмотров, что означает более быстрое обновление при публикации нового контента. Вы также улучшите общее взаимодействие с пользователем, что улучшит видимость, что в конечном итоге приведет к улучшению рейтинга SERP.

Кредиты изображения:

Все скриншоты Олега Барысевича. Снято в сентябре 2016 года.

Похожие

Комментарии