На днях, отвечая на вопрос одного из вебмастеров, сотрудник Google Джон Мюллер заявил в Twitter, что индексировать весь интернет невозможно.
«Мы действительно не индексируем все страницы в файлах Sitemap или в интернете, это было бы невозможно сделать», — написал Мюллер.
Вебмастер спрашивал, почему Google не проиндексировал все
страницы в файле Sitemap для определённого сайта.
Which issue do you mean, "indexed, not in sitemap" or like Martin mentioned, the opposite? We really don't index all pages in sitemaps or on the web, it would be impossible to do so.
— ? John ? (@JohnMu) November 27, 2019
Google не может индексировать все страницы. Кроме того, в этом нет нужды: в интернете есть множество низкокачественных, спамных, вспомогательных и других страниц, на обработку которых явно не стоит тратить ресурсы.
Напомним, ранее Google заявил, что точный подсчёт ссылок в интернете также технически невозможен.
