motorsale.ru/robots.txt:
User-agent: *
Sitemap: http://www.motorsale.ru/sitemap.xml
Disallow: /to_bmworg
Disallow: /today.php
Disallow: /order/*
Disallow: /forum/index.php?act=Members*
Disallow: /forum/index.php?act=Search*
Disallow: /forum/index.php?act=Mail*
Disallow: /forum/index.php?act=UserCP*
Disallow: /forum/index.php?showuser=*
Disallow: /pages/page20.htm
User-Agent: YandexDirect
Disallow: /today.php
User-agent: Yandex
Host: www.motorsale.ru
Disallow: /to_bmworg
Disallow: /today.php
Disallow: /search/*
Disallow: /order/*
Disallow: /forum/index.php?act=Search*
Disallow: /forum/index.php?act=Mail*
Disallow: /forum/index.php?act=Members*
Disallow: /forum/index.php?act=UserCP*
Disallow: /forum/index.php?showuser=*
Disallow: /pages/page20.htm
User-agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
user-agent: AhrefsBot
disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: BLEXBot
Disallow: /
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|