google search-console индексирует запрещенные в robots.txt

Разбираемся в настройках Администраторского раздела и возможностях движка PHPBB 3.1

Что-то не нашли в инструкциях или что-то не получается.
Правила форума
Если ваш вопрос касается работы или настройки какого-либо расширения, задайте пожалуйста вопрос в разделе "Расширения" в теме, посвященной этому расширению.
Если ваш вопрос об оформлении, то для этого есть разделы "Оформление форумов" и "Стили для вашего форума".

Вместе мы сделаем этот форум удобным и полезным!
Спасибо! :)
Ответить
Аватара пользователя

Автор темы
Merlin
Сообщения: 718
Зарегистрирован: 03 янв 2015, 10:04
Благодарил (а): 32 раза
Поблагодарили: 262 раза
Пол:
Контактная информация:

google search-console индексирует запрещенные в robots.txt

Сообщение Merlin » 30 янв 2018, 20:35

https://search.google.com/search-console
Сегодня проверил google search-console и обнаружел в нем такой параметр - Проиндексировано, несмотря на блокировку в файле robots.txt

Как к этому относится?
Индексирует страницы с такими адресами:
viewtopic.php?p=5355 viewtopic.php?p=5355
viewtopic.php?f=9&t=83&p=5101 viewtopic.php?t=83&p=5101
Вложения
search.google.com_search-console.JPG

Аватара пользователя

beholder
Администратор
Сообщения: 1361
Зарегистрирован: 02 янв 2015, 08:15
Откуда: Владивосток
Благодарил (а): 40 раз
Поблагодарили: 493 раза
Пол:
Контактная информация:

google search-console индексирует запрещенные в robots.txt

Сообщение beholder » 31 янв 2018, 14:40

Судя по этой штуке:
https://support.google.com/webmasters/a ... 0203?hl=ru
[+] текст
Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, robots.txt не поможет). Этот статус установлен, так как мы не уверены, что вы хотите удалить страницу из результатов поиска. Если ваше намерение именно таково, файл robots.txt не является корректным способом избежать индексации. Чтобы страница не была проиндексирована, необходимо использовать тег noindex или запретить анонимный доступ к ней. С помощью специального инструмента можно понять, какое именно правило блокирует страницу. Из-за файла robots.txt страница может не самым оптимальным образом показываться в результатах поиска. Если вы не хотите удалять страницу из результатов поиска, измените файл robots.txt.
Гугл решает игнорировать robots.txt из-за того, что где-то есть внешняя ссылка именно на эту страницу.
Там-же есть рекомендация использовать noindex, но лично я предполагаю, что гугл "намекает", что эта эта страница увеличивает полезную ссылочную массу для всего сайта, возможно лучше оставить как есть...

PS. Весь вопрос в том, включает ли google во внутренний поиск такую страницу или просто дает предупреждение...
Поддержка GetBB.Ru
Бесплатный хостинг форумов PHPBB3

Ваши собственные домены с привязкой к форуму:
.ru - 200 руб./год , .рф - 250 руб./год. (кирилический домен)
in.ua - 7$/год. , .com,org,net - 12$/год.

Аватара пользователя

Автор темы
Merlin
Сообщения: 718
Зарегистрирован: 03 янв 2015, 10:04
Благодарил (а): 32 раза
Поблагодарили: 262 раза
Пол:
Контактная информация:

google search-console индексирует запрещенные в robots.txt

Сообщение Merlin » 01 фев 2018, 14:27

beholder писал(а):
31 янв 2018, 14:40
PS. Весь вопрос в том, включает ли google во внутренний поиск такую страницу или просто дает предупреждение...
Например
Снимок.JPG
В реальности тема называется Карты gta 4 и имеет адрес viewtopic.php?f=12&t=26, канонический viewtopic.php?t=26 а ссылка viewtopic.php?p=42#p42 ведет на первое сообщение в теме.
Снимок2.JPG

Ответить