Обработка директивы Allow текстового файла robots.txt теперь будет происходить по-другому. О новых правилах управления функционалом сообщила накануне команда Яндекс.Поиска.
Теперь, чтобы корректно обработать директиву Allow, ее нужно использовать с учетом порядка: если для определенной страницы ресурса подходит несколько директив, то следует выбирать первую в порядке появления в User-agent блоке.
Кроме того, вскоре Яндекс изменит обработку поисковым роботом директивы allow и откажется от учета порядка. А вот сами директивы будут сортироваться с учетом длины префикса URL (от меньшего к большему) и применяться последовательно. Такая инновация позволит соответствовать международным стандартам применения директивы с тем, чтобы оптимизировать процесс составления robots.txt для разных поисковых систем отечественными и зарубежными вебмастерами.
Проверить директивы allow и disallow на соответствие новым стандартам рекомендуется всем ресурсам, где они используются в файлах robots.txt используются, настоятельно рекомендуется проверить их на соответствие новым стандартам.
Как заметил специалист ИнтерЛабс Олег Сахно, написание директив Disallow и user-agent – довольно сложный процесс. Возможно, Яндексу стоит добавить уведомление в панель для вебмастеров в том случае, когда количество страниц в индексе значительно снизится, по причине запрета индексации в robots.txt.
