Обробка директиви Allow текстового файлу robots.txt тепер відбуватиметься інакше. Про нові правила управління функціоналом повідомила напередодні команда Яндекс.Пошуку.
Тепер, щоб коректно обробити директиву Allow, її потрібно використовувати з урахуванням порядку: якщо для певної сторінки ресурсу підходить кілька директив, то слід вибирати першу в порядку появи в User-agent блоці.
Крім того, незабаром Яндекс змінить обробку пошуковим роботом директиви allow і відмовиться від обліку порядку. А ось самі директиви сортуватимуться з урахуванням довжини префікса URL (від меншого до більшого) і застосовуватимуться послідовно. Така інновація дозволить відповідати міжнародним стандартам застосування директиви для того, щоб оптимізувати процес складання robots.txt для різних пошукових систем вітчизняними та зарубіжними вебмайстрами.
Перевірити директиви allow та disallow на відповідність новим стандартам рекомендується всім ресурсам, де вони використовуються у файлах robots.txt використовуються, настійно рекомендується перевірити їх на відповідність новим стандартам.
Як зазначив фахівець ІнтерЛабс Олег Сахно, написання директив Disallow та user-agent – досить складний процес. Можливо, Яндексу варто додати повідомлення в панель для вебмайстрів у тому випадку, коли кількість сторінок в індексі значно знизиться через заборону індексації в robots.txt.
