Способы ускорения индексации сайта в Google и Яндекс

Индексация веб страниц является одним из самых важных процессов работы любого сайта в интернете. В зависимости от того, как поисковики индексируют ваш сайт, находится его выдача в результатах поиска. Но иногда возникает такая ситуация, что новые ресурсы не проверяются автоматизированными роботами, вследствие чего трафик на сайт не поступает от слова совсем.

Если вы попали в эту ситуацию или просто хотите повысить индексацию, то воспользуйтесь следующими советами.

Термин индексация

Индексация в поисковых системах, иными словами, веб-индексирование — это процесс, в результате которого робот поисковой системы добавляет сайт в базу для поиска. Этих самых поисковых роботов по-другому называют краулеры.

Краулинговое бюджетирование

Интернет очень большой, а страничек в нем еще больше. Ежедневно на просторах всемирной сети появляются сотни тысяч новых сайтов, которые краулер должен проверить и сделать это максимально быстро, ведь чем дольше длится проверка одного сайта, тем позже начнется проверка следующего, и так далее. А в этом время поисковые системы оплачивают все затраты и несут убытки.

Проще говоря, роботу за сутки нужно пройти условно тысячу страничек, и если посчитать, то на один сайт приходится примерно 1.5 минуты. А если сайт не оптимизирован или плохо структурирован, то работ задерживается и тратит на него уже 3 минуты, а соответственно и за день проверит меньше страничек. Для поисковой системы время = деньги, таким образом, 1.5 минуты стоят 3 цента, а если проверка длится 3 минуты, то стоимость индексации возрастает до 6 центов. Это и называется — краулинг бюджетом.

Для чего необходима быстрая индексация сайта

У вебмастеров и поисковиков есть свои мотивы для быстрой индексации сайта.

Для вебмастеров важно, чтобы посадочная страница для рекламы как можно скорее попадала в поисковую выдачу, потому что коммерческий контент имеет свойство устаревать, а если страницу никто не видит, то именно так и происходит.

В случае с поисковыми системами, для них важен результат. Чтобы искомая информация выдавалась именно у них, а не у конкурентов. Все ведь поступают так: когда не могут найти информацию в одном поисковике, переходят на другой.

Общие советы

Каждая поисковая система обладает набором индивидуальных особенностей, но есть общие моменты. Для того чтобы страница быстро индексировалась, необходимо:

• сделать перелинковку на странице;
• создать карту сайта;
• грамотно сделать настройки txt;
• регулярно создавать новые посты;
• сделать кросспостинг;
• использовать пинг сервисы;
• применять RSS каталог;
• логично структурировать сайт;
• создать карту всех страничек сайта;
• настроить все вложения.

Список очень обобщенный, поэтому необходимо разобраться в каждом пункте.

Перелинковка

При создании нового раздела на сайте обязательно добавляйте ссылки на другие страницы, так вы сможете ускорить индексацию вашего ресурса. В конце каждой странички поместите ссылку «Читайте также» и обязательно добавьте блок «Новости». Сегодня имеется немало сервисов, которые осуществляют анализ контента сайта и рекомендуют статьи для раздела «читайте также». 

Карта сайта

Грамотно составленная карта сайта помогает поисковым системам определять, что у вас появилось что-то новое. Чаще всего, карта сайта создается в файле Robots.txt как Sitemap: https://linkwizard.net/sitemap.xml.

Если вы создавали сайт на CMS, то для них существуют специальные плагины для автоматического генерирования карты сайта. А если писали сами, то и делайте сами, либо прибегните к помощи программиста.

Если нет времени особо заморачиваться, то в интернете полно сервисов, которые помогут вам с этим делом за определенную плату. Но обновлять карту постоянно придется там же, ведь при использовании данного способа автоматическое обновление отсутствует. 

Регулярные посты

Тут все понятно — необходимо регулярно постить новый контент, и популярность запросов в поисковых системах с переходом на ваш сайт будет на высоком уровне, так как поисковики запоминают частоту ваших обновлений. Если вы постите каждый день по 1-2 новости в определенное время, то робот будет заходить к вам на страничку в это же время. А если вы не добавляли новых статей на сайт полгода или больше и решили снова начать работать над сайтом, то мгновенного результата ждать не стоит. Еще лучше дела обстоят у новостных сайтов, которые публикуют по 30-40 новостей в день, и краулеры практически не вылезают из их страничек.

Кросспостинг

Возьмите за привычку каждую новую статью публиковать везде — не только на основном сайте. Для тех, кто ведет бизнес в соцсетях, это крутой способ повысить индексацию основного сайта. Краулеры очень часто проводят индексацию социальных сетей. Подключите выгодную пуш сеть и сделайте рассылку с новой статьей. Браузеры запомнят массовый переход и дадут сигнал для повышения индексации.

Пинг сервисы

При помощи ping сервисов поисковики могут быстрее узнавать о том, что у вас появился новый контент. В функционал WordPress уже установлен сервис по отправке нового контента в пинг сервисы, вам только остается поставить соответствующие отметки, куда именно.  Специалисты компании AdButton рекомендуют воздержаться от массовых рассылок, так как это вызывает дополнительную нагрузку на сервера, лучше всего ограничиться несколькими сервисами.

RSS каталоги

Отличная возможность для ускорения индексации. Создаете rss фид и добавляете его — всё, готово. Дальше агрегаторы сами будут заниматься индексацией. Краулеры постоянно находятся в таких агрегаторах, и потому результат индексации будет заметен очень быстро. 

Robots.txt

При настройке robots необходимо быть крайне внимательными. Ведь по незнанию или невнимательности можно открыть все разделы и тогда просто сливать краулинг бюджет, так как роботы будут индексировать пустые странички или технические разделы сайта, которые абсолютно не нужны в поисковой выдаче.

Чтобы получить повышение индексации сайта в поисковых системах стоит оставить только те разделы, где располагается качественный и интересный контент, который будет выдаваться в результатах поиска.

А бывает, что наоборот — случайно закрывают нужные разделы, и тогда сайт вообще выпадает из поисковой выдачи. Для разрешения сложившейся ситуации стоит воспользоваться валидатором от поисковика. Не лишним будет протестировать файл robots после внесения любых изменений.

Вложенность и контент

Все новые статьи, которые вы добавляете, обязательно должны выводиться на главную страницу сайта, так как именно она индексируется значительно чаще.

Вложенность стоит располагать не ниже 3 уровня, это также даст преимущества и ускорение индексации страниц сайта. Останавливаться на одноуровневой вложенности не стоит — хотя многие практикуют этот способ поднятия сайта, но для пользователей это крайне неудобно и слишком запутанно.

Не забывайте про удобную навигацию на сайте. Статистические исследования показывают, что пользователь максимум в три клика должен найти нужную ему информацию на ресурсе. На практике не всегда так выходит, но стремиться к идеалу всё же надо.

HTML карта сайта

Эта карта не влияет на ранжирование, в отличие от XML карты, но сделать ее не будет лишним. Раньше такую карту можно было встретить на любом сайте, сейчас они уходят в прошлое, но многие пользователи продолжают искать их и активно используют для навигации по сайту. Так что лучше ее сделать, да и времени на это много не уйдет.

Логичная структура

Придерживайтесь древовидной структуры на сайте, и тогда краулерам проще будет индексировать ваш сайт, и делать они будут это быстрее. Размещать контент также рекомендуется в соответствующих разделах. Так, например, если в разделе про овощи и фрукты вы опубликуете статью про беспроводные пылесосы, то это крайне негативно скажется на ранжировании.

Итог

Способов повысить скорость индексации сайта достаточно много, кроме того, есть отдельные приемы для Гугла или Яндекса. Не обязательно пользоваться всеми и сразу, проведите анализ страниц конкурентов, подберите для себя наиболее удобный, понятный и, главное, эффективный способ — и пользуйтесь им.