bigsvarka.ru/robots.txt:
User-agent: *
Host: https://www.bigsvarka.ru
Disallow: /sections/404
Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /js/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /design/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Disallow: *?keyword=*
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|