Home > Blog > Новости > Новая технология обработки директивы Allow текстового файла robots.txt

Новая технология обработки директивы Allow текстового файла robots.txt

Опубликовано 28.09.2011 От

Yandex vnedril novuju sistemuОбработка директивы Allow текстового файла robots.txt теперь будет происходить по-другому. О новых правилах управления функционалом сообщила накануне команда Яндекс.Поиска.

Теперь, чтобы корректно обработать директиву Allow,  ее нужно использовать с учетом порядка: если для определенной страницы ресурса подходит несколько директив, то следует выбирать первую в порядке появления в User-agent блоке.

Кроме того, вскоре Яндекс изменит обработку поисковым роботом директивы allow и откажется от учета порядка. А вот сами директивы будут сортироваться с учетом длины префикса URL (от меньшего к большему) и применяться последовательно. Такая инновация позволит соответствовать международным стандартам применения директивы с тем, чтобы оптимизировать процесс составления robots.txt для разных поисковых систем отечественными и зарубежными вебмастерами.

Проверить директивы allow и disallow на соответствие новым стандартам рекомендуется всем ресурсам, где они используются в файлах robots.txt используются, настоятельно рекомендуется проверить их на соответствие новым стандартам.

Как заметил специалист ИнтерЛабс Олег Сахно, написание директив Disallow и user-agent – довольно сложный процесс. Возможно, Яндексу стоит добавить уведомление в панель для вебмастеров в том случае, когда количество страниц в индексе значительно снизится, по причине запрета индексации в robots.txt.