Сервис анализа сайтов YandeG:
Главная

SEO статьи
  1. В честь чего дают имена поисковым машинам?

  2. Миф о специалисте

  3. Что выбрать поисковую рекламу или оптимизацию?

  4. 10 шагов по оптимизации блога WordPress для поисковых систем

  5. Как писать статьи, или как их лучше не писать


SEO новости
  1. Красивые графики =)

  2. Китай первый и в интернете

  3. Непростые вопросы интернет-рекламы

  4. А вы – настоящий SEOшник? Проверьте!

  5. Yandex: "НЕТ" биржам ссылок!

Управление индексацией сайта при помощи файла robots.txt


����������

��������� ������ (��� ��������, �����, ��������� ������ � �.�.) ��������� ����� �� ���-���������, �����������, ������������ �� ��� ����������. ���-������ ����� ��������� ���������� ����������� �� ���� ����� ����� ���������: ��� ������ ����-�����, ���� ����� robots.txt. ���������� ��������� ������ ������.

����� ��������

robots.txt - ������ ���� (������, ��� - ������� ��������� ���� � ����������� txt, �� ������������ ������ �������), ������� � �������� ���������� ����� (��������, ���� ���� ����� ����� [url]http://filosofia.ru/[/url], �� ���� robots.txt ������ ���������� �� ������: [url]http://filosofia.ru/robots.txt)[/url]. �������� ��������: ��� ����� � ���������� ���� ������ � ������ ��������! ����� ���������, ������ �� �����-���� ����, ������ �����, �������� ������� � ���������� ����� robots.txt (������ ���������� ���� ������ ������� � ��������� ��� ����� ������������� ���� ����). �, ��� ������ �� ���������� ����������, ����� ������������ ���� ���������� ������������ �� ���� �����. �� ����� ����� ����� ���� ������ ���� ���� robots.txt. ���� ����� �� ������� ���� ���������� ��� ��������� �������, �� �� ��������� �� ����� �� ������ ������������ ��������� (������ ��� ����� :-)).

������ ������ ����� robots.txt

� ����� robots.txt �����������: ������ ������ � ��� �� ���� ������������� �� �������. ������, ������ � ���� ����� ���������� �� ���������� ����� ����������, � ����� ������ - ������ (����������� ������ �������), ������ �� ������� ������������ ��� ������ ��� ���������� �������. �������� ������ ����������� � ������ ������ ����� (�������� User-agent, ��� ������� � robots.txt �����������):

User-agent: robot1 robot2 robot3, ���:

robot1, robot2 � robot3 - �������� ��������� �������. ��������:

User-agent: WebCrawler Lycos StackRambler

��� ������, �������� ��������� ������� ������ ���������� �� �������� ��������� ������ (� ����� �������: ������ ��������� ������� Rambler "�����" StackRambler). � ����������� �������, ������, ������ �������� ������� �� ���������. ���������� ������ ��������:

User-agent: *, ����� ���� "*" ��������, ��� ������ ��������� �� ���� ������� (� ����� ����� ���� ������ ���� ����� ������).

����� ��� ������ ������:

Disallow: ����, ���:

���� - ����� URI, ������� ��������� �������� ������. ����� ��������� ��������� ��� �������� (����� URI, ������������ � ���������� �������� ������ �������� ���������). ��� ������� �������, ������������ � ���������� ����� ������ ��������� Dissallow.

�������� ��������: ����������� �� ����������, � ������������� ����.

��������:

Disallow: /topsecret/ - ��������� ������ � ���������� � ����� ������, �� �� ��������� ����� � ����� ������, �.�. ���� topsecret.html ����� ���������������, � ��� ����� � ���������� /topsecret/ - ���.

Disallow: /privat - ��������� ������ ��� � ����������� � ����� ������, ��� � � ������.

Disallow: /folder/file.htm - ��������� ������ � ������������ ����� � ����������� ����������.

�� ������� �����, ��� ��� ������� �������, ������������ � ��������������, ������������ ��������� ������ Disallow. ������ �������� ��������� Disallow ��������, ��� ��� URL ����� �����������. � ����� robots.txt ������ ����, �� ������� ����, ���� �������� Disallow. �������� Disallow ������ ��������� ������ � ��������������� ��������� User-agent, ������� ��� ������� ��������� User-agent ����� �������� ���� ��������� Disallow.

������� ������ ������

����� ����� ������ ��������� ����� robots.txt � ��������� �������� ��� ������������ ����� �� ���������� ��������. ���� ��������� ������� ���������� �������� ������� � ���� ����.

������ 1.

# robots.txt file for http://dengi.filosofia.ru/
# contact [email protected] for critics

User-agent: StackRambler Googlebot
Disallow:

User-agent: *
Disallow: /tmp/
Disallow: /logs/

������ # �������� �����������. ����������� ����� ������ �� ��������� ������.

� ���� ������� ���� ������� ����������� �������� ���������� tmp � logs, � ������ ������� StackRambler � Googlebot ��������� �������� ��.

������ 2.

# I hate search engines!

User-agent: *
Disallow: /

� ���� ������� ���� ������� ��������� ����� ������������ �� �����.

������ 3.

User-agent: *
Disallow: /private/letters/
# This is top secret directory.
Disallow: /cgi-bin/
Disallow: /anektods.html

� ���� ������� ���� ������� ����������� �������� ��������, ����������� � ����������� /private/letters/ � /cgi-bin/, � ��� �� ���� anektods.html.

������ 4.

User-agent: *
Disallow:

��� ����� ������� ������. ���� ������� ����� ������������ ����� ��������� �� �������.

�������� ������������

������������� �� ���� ����� ����� robots.txt ������ � ���� ������������� ���������. �� ������ ���������� �� �������� ���������������. ���� ���-�� ������ � �������� ������ �������� ��������������� ����� ����� �����, ��� ������ ��������, ����� �������� � ����� ������������� �������� ������ �� ����������� ����. ����� ����� � ������ �������� �������� ������ ���� � ���� "��������� ��������" � �������� �� ���������. ��� ���������� "������ ���".

��� �� �������� ���������� �� �����������? ����� ��������� - �� ��������� � �� ������������� ��������. ���� ��� ������������� ������ ����������, ����� ����������� � � ���������� ����? ���� �� ���������� ��-���� ���� ��������, ����������� � ���������� ���������� ����-��� "robots". � ���������� ���������� ������� ��������������.

Все статьи



© 2008-2024 YandeG.ru
Контакты | Комментарии
SEO статьи SEO новости Кнопка для Браузера