www.enduro-x.com.au/robots.txt:
# SEARCH TOOLS
User-agent: AhrefsBot
Disallow: /
User-agent: AhrefsBot/4.0
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: BacklinkCrawler
Disallow: /
User-agent: ip-web-crawler.com
Disallow: /
User-agent: ips-agent
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: Xenu Link Sleuth
Disallow: /
User-agent: GSiteCrawler
Disallow: /
User-agent: SpyFu
Disallow: /
User-agent: Linkdex
Disallow: /
User-agent: linkdex.com/v2.0
Disallow: /
User-agent: linkdex.com/v2.1
Disallow: /
User-agent: sp_auditbot
Disallow: /
# ALL
User-agent: *
Disallow:
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|