useme.com/robots.txt:
User-agent: *
Disallow: /bg/
Disallow: /cs/
Disallow: /de/
Disallow: /es/
Disallow: /fr/
Disallow: /hu/
Disallow: /it/
Disallow: /lt/
Disallow: /lv/
Disallow: /ro/
Disallow: /ru/
Disallow: /sk/
Disallow: /en/users/enter/
Disallow: /pl/users/enter/
Disallow: /en/users/login/
Disallow: /pl/users/login/
Disallow: /en/abuse/
Disallow: /pl/abuse/
Disallow: /pl/mesg/inquiry/
Disallow: /en/mesg/inquiry/
Crawl-delay: 30
Sitemap: https://useme.com/pl/sitemap.xml
Sitemap: https://useme.com/en/sitemap.xml
Sitemap: https://useme.com/pl/sitemap-jobs.xml
Sitemap: https://useme.com/en/sitemap-jobs.xml
Sitemap: https://useme.com/pl/sitemap-profile.xml
Sitemap: https://useme.com/en/sitemap-profile.xml
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|