Страница 1 из 1

google search-console индексирует запрещенные в robots.txt

Добавлено: 30 янв 2018, 20:35
Merlin
https://search.google.com/search-console
Сегодня проверил google search-console и обнаружел в нем такой параметр - Проиндексировано, несмотря на блокировку в файле robots.txt

Как к этому относится?
Индексирует страницы с такими адресами:
viewtopic.php?p=5355 viewtopic.php?p=5355
viewtopic.php?f=9&t=83&p=5101 viewtopic.php?t=83&p=5101

google search-console индексирует запрещенные в robots.txt

Добавлено: 31 янв 2018, 14:40
beholder
Судя по этой штуке:
https://support.google.com/webmasters/a ... 0203?hl=ru
[+] текст
Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, robots.txt не поможет). Этот статус установлен, так как мы не уверены, что вы хотите удалить страницу из результатов поиска. Если ваше намерение именно таково, файл robots.txt не является корректным способом избежать индексации. Чтобы страница не была проиндексирована, необходимо использовать тег noindex или запретить анонимный доступ к ней. С помощью специального инструмента можно понять, какое именно правило блокирует страницу. Из-за файла robots.txt страница может не самым оптимальным образом показываться в результатах поиска. Если вы не хотите удалять страницу из результатов поиска, измените файл robots.txt.
Гугл решает игнорировать robots.txt из-за того, что где-то есть внешняя ссылка именно на эту страницу.
Там-же есть рекомендация использовать noindex, но лично я предполагаю, что гугл "намекает", что эта эта страница увеличивает полезную ссылочную массу для всего сайта, возможно лучше оставить как есть...

PS. Весь вопрос в том, включает ли google во внутренний поиск такую страницу или просто дает предупреждение...

google search-console индексирует запрещенные в robots.txt

Добавлено: 01 фев 2018, 14:27
Merlin
beholder писал(а):
31 янв 2018, 14:40
PS. Весь вопрос в том, включает ли google во внутренний поиск такую страницу или просто дает предупреждение...
Например
Снимок.JPG
В реальности тема называется Карты gta 4 и имеет адрес viewtopic.php?f=12&t=26, канонический viewtopic.php?t=26 а ссылка viewtopic.php?p=42#p42 ведет на первое сообщение в теме.
Снимок2.JPG