dizelist.ru/robots.txt:
User-agent: *
Sitemap: https://dizelist.ru/sitemap.xml # ��������� ������ �� ���� sitemap ��� �����
Disallow: /admin/ # ��������� ������ ������� ����������� �� ����� ������
Disallow: /account/ # ��������� ������ ������� ����������� �� ����� ������
Disallow: /profile/ # ��������� ������ ������� ����������� �� ����� ������
Disallow: /customerbase/ # ��������� ������ ������� ����������� �� ����� ������
Disallow: /sellerbase/ # ��������� ������ ������� ����������� �� ����� ������
Disallow: /search/ # ��������� ������ ������� ����������� �� ����� ������
Disallow: /content/ # ��������� ������ ������� ����������� �� ����� ������
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|