Что делать с пагинацией в SEO

Проблема страниц пагинации PAGEN_* или page_

Для тех, кто не знает, что делать со страницами пагинации PAGEN_* в интернет-магазине. Если у нас форум где комментарии тянутся несколько страниц пагинации, то лучше их оставить. Ответ может быть на любой странице, и они все должны быть равнозначно просканированы. А вот если речь идёт про интернет-магазин, то лучший вариант оставить страницы самостоятельными, но разметить robots noindex follow. Ниже разберу подробности моего решения.

На удивление, мнения сильно расходятся: индексировать эти страницы, скрыть через Disallow, применить clean-param, убрать в canonical или сделать самостоятельными открытыми страницами.

Что думаю я. Страница пагинации - с точки зрения СЕО и семантики является полным дублем своей родительской страницы. Если оставить её в индексе свободной, она может начать каннибализироваться с основной страницей каталога. Ибо как поисковые системы поймут, что это пагинация?!?!

Поэтому вариант вида «Сапоги (страница 1), Сапоги (страница 2)» мне кажется нелогичным.

О каких вариантах спорят

Полностью закрывать от обхода пагинацию через clean-param или Disallow тоже не будет правильным, так как тогда поисковая система может не обойти эти страницы вообще. Из-за чего не просканирует лежащие внутри товары. Единственный путь к ним будет через sitemap.xml.

Закрыв страницу в canonical, мы уберем её из индекса и вес передадим на основную страницу каталога.

Официальная позиция Google

В Google есть официальная документация, цитирую:

Не используйте первую страницу с результатами поиска в качестве канонической. Вместо этого назначайте каждой странице ее собственный канонический URL.

Не используйте идентификаторы фрагментов URL (символ #) для нумерации страниц с результатами поиска. Google игнорирует такие идентификаторы. Если наш робот обнаруживает ссылку на следующую страницу, которая отличается только текстом после символа #, он может не перейти по ней, приняв ее за уже отсканированную.

То есть он не рекомендует использовать canonical на страницах пагинации. И это блокирует их сканирование. Есть ещё доводы в пользу этого. Например, алгоритм сканирования и краулинговый бюджет. Максимум ресурсов сканирования отдается на канонические страницы, что повышает риск упущения товаров на следующих страницах пагинации.

Решение, которое подойдет

Короче, что же остается. Я пришел к выводу делать так... Это, конечно, технически нестандартное решение в типовых шаблонах, но что делать:

1. Убираем canonical со страниц пагинации, а лучше делаем на саму себя.

2. Задаем самостоятельный URL, или тогда проверяем, чтобы в robots.txt не блокировались все URL, содержащие «знак вопроса». Этот URL должен быть с отличительным признаком /pagen/, или любой другой.

3. И по этому признаку для всех страниц пагинации задаем:

   <meta name="robots" content="noindex, follow">

Таким образом робот будет видеть все страницы пагинации как самостоятельные урлы и получать жесткие указания: не добавлять страницу в индекс, но сканировать также как и любую другую важную страницу.

Пока я вижу это самым логичным решением.