На днях сотрудник Google Джон Мюллер объяснил в Twitter, что инструмент «Параметры URL» в Search Console – это не замена файлу robots.txt.
Один из вебмастеров поинтересовался, использует ли Google инструмент «Параметры URL», доступный в старой версии GSC.
Мюллер ответил утвердительно.
Yes
— ? John ? (@JohnMu) May 29, 2020
Затем специалист спросил: насколько надёжной является настройка,
которая запрещает сканирование URL с определённым параметром.
На это Мюллер ответил, что она не является заменой файлу robots.txt. Поэтому, чтобы что-то точно не
сканировалось, его нужно должным образом заблокировать – т.е., использовать robots.txt.
It's not a replacement for the robots.txt — if you need to be sure that something's not crawled, then block it properly.
— ? John ? (@JohnMu) May 29, 2020
Подробнее об использовании инструмента «Параметры URL» можно прочитать в Справке Search Console.
