vibromotors.ru/robots.txt:
User-agent: Yandex
Disallow: /shop/
Disallow: /templates/
Disallow: /modules/
Disallow: /admin/
Disallow: /old/
Disallow: /logs/
Disallow: /1c/
Disallow: /actions/
Disallow: /ajax/
Disallow: /assets/
Disallow: /cache/
Disallow: /cron/
Disallow: /verstka/
Disallow: /*market
Disallow: /*buy
Disallow: /pay/
Disallow: /*region
Disallow: /*utm_source
Disallow: /catalog/new/
Disallow: /*yclid
Disallow: /*? # ��� 03.18 ������� ������� � ��������������� ����������� (/?...)
Allow: /*?page # ��� 10.03.18 ��� ���������� ��������������� URL. �������� http://vibromotors.ru/catalog/asinhronnye_elektrodvigateli/?page=1
Disallow: /*?page=1 # ��� 10.03.18 ��� ���������� ��������� page=1 ��������� �������� ��������
Disallow: /news/ # ��� 12.03.18. ����� /news/1/ ��������� ��� �������� (�.�. ��� ����� ��� ������ ��������)
Allow: /news/1/ # ��� 12.03.18. ������������ ����� � ���������
Disallow: /articles/1/ # ��� 12.03.18. ����� �������� /news/1
Disallow: /news/1?page # ��� 12.03.18. ����� ������� /news/?page
Disallow: /*% # ��� 20.03.18 ��� ���������� �������� � ��������������� ����������� (/%...)
Disallow: /rcatalog/ # ��� 08.06.18�. ��������� ����� ��� ������� ������������ ��������
Host: vibromotors.ru
User-agent: *
Disallow: /shop/
Disallow: /templates/
Disallow: /modules/
Disallow: /admin/
Disallow: /old/
Disallow: /logs/
Disallow: /1c/
Disallow: /actions/
Disallow: /ajax/
Disallow: /assets/
Disallow: /cache/
Disallow: /cron/
Disallow: /verstka/
Disallow: /*market
Disallow: /*buy
Disallow: /pay/
Disallow: /*region
Disallow: /*utm_source
Disallow: /catalog/new/
Disallow: /*yclid
Disallow: /*?
Allow: /*?page
Disallow: /*?page=1
Disallow: /news/ # ��� 12.03.18. ����� /news/1/ ��������� ��� �������� (�.�. ��� ����� ��� ������ ��������)
Allow: /news/1/ # ��� 12.03.18. ������������ ����� � ���������
Disallow: /articles/1/ # ��� 12.03.18. ����� �������� /news/1
Disallow: /news/1?page # ��� 12.03.18. ����� ������� /news/?page
Disallow: /*% # ��� 20.03.18 ��� ���������� �������� � ��������������� ����������� (/%...)
Disallow: /rcatalog/ # ��� 08.06.18�. ��������� ����� ��� ������� ������������ ��������
в яндексе
Прочее:
Ping/Trace,
История в Веб-архиве,
История владельцев,
Валидность HTML,
Валидность CSS,
Проверка на вирусы.
Запрашиваемая страница недоступна!
|