Google обновил файл robots.txt

В поисковой системе Google произошло обновление файла robots.txt, теперь он больше не будет индексировать собственные страницы с результатами поиска. На эту ошибку уже неоднократно обращали внимание веб-мастера.

Специалисты по продвижению сайтов не раз замечали нарушение системой собственного руководства для веб-мастеров. Индексирование результатов поиска Google противоречит информации, указанной в правилах. Согласно им, файл robots.txt должен использоваться для того, чтобы не допускать сканирования веб-страниц, генерация которых осуществляется в автоматическом режиме. По мнению разработчиков, они не имеют ценности для пользователей.

Не так давно Барри Шварц, редактор издания Search Engine Land, сообщил об обращении в компанию Google с просьбой разъяснить ситуацию с индексированием результатов поиска. При этом он ссылался на сообщения пользователей, опубликованные в социальных сетях. Сотрудник поисковой системы объяснил, что происходящее – баг, возникающий из-за нескольких слешей в веб-адресах. Также он уведомил Барри Шварца о том, что специалисты уже занимаются решением этой проблемы. Наконец, они нашли решение и в файл robots.txt были внесены изменения.

приложение Google Now
Оптимизация robots.txt
закрытие дублей и технических страниц
Самые лучшие книги
по интернет маркетингу