smartcats.de/robots.txt:
User-agent: Googlebot
Disallow: /info/
Disallow: /search/
User-agent: Mediapartners-Google
Disallow: /info/
Disallow: /search/
User-agent: Yahoo! Slurp
Allow: /$
Disallow: /
User-agent: bingbot
Allow: /$
Disallow: /
User-agent: Yandex
Allow: /$
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: Sogou
Disallow: /
User-agent: ia_archiver
Disallow:
User-agent: IPS-Agent
Disallow: /parking.php4
User-agent: BLEXBot
Disallow: /
User-agent: Pandalytics
Disallow: /info/
Disallow: /search/
User-agent: IonCrawl
Disallow: /info/
Disallow: /search/
User-agent: *
Disallow: /
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|