Сервис анализа сайтов YandeG:
Главная

SEO статьи
  1. Что выбрать поисковую рекламу или оптимизацию?

  2. 10 шагов по оптимизации блога WordPress для поисковых систем

  3. Как писать статьи, или как их лучше не писать

  4. Невидимый ВИЦ

  5. Не читайте - вам это будет неинтересно


SEO новости
  1. Бэклинки с молодых сайтов – иногда перспективно

  2. Куда пойти учится SEO, и пойти ли вообще?

  3. аффилиат-фильтр Яндекса

  4. Rambler обновит систему поиска и дизайн портала

  5. БИЗНЕС В ИНТЕРНЕТЕ И ЗАКОН: ответы юристов

Управление индексацией сайта при помощи файла robots.txt


����������

��������� ������ (��� ��������, �����, ��������� ������ � �.�.) ��������� ����� �� ���-���������, �����������, ������������ �� ��� ����������. ���-������ ����� ��������� ���������� ����������� �� ���� ����� ����� ���������: ��� ������ ����-�����, ���� ����� robots.txt. ���������� ��������� ������ ������.

����� ��������

robots.txt - ������ ���� (������, ��� - ������� ��������� ���� � ����������� txt, �� ������������ ������ �������), ������� � �������� ���������� ����� (��������, ���� ���� ����� ����� [url]http://filosofia.ru/[/url], �� ���� robots.txt ������ ���������� �� ������: [url]http://filosofia.ru/robots.txt)[/url]. �������� ��������: ��� ����� � ���������� ���� ������ � ������ ��������! ����� ���������, ������ �� �����-���� ����, ������ �����, �������� ������� � ���������� ����� robots.txt (������ ���������� ���� ������ ������� � ��������� ��� ����� ������������� ���� ����). �, ��� ������ �� ���������� ����������, ����� ������������ ���� ���������� ������������ �� ���� �����. �� ����� ����� ����� ���� ������ ���� ���� robots.txt. ���� ����� �� ������� ���� ���������� ��� ��������� �������, �� �� ��������� �� ����� �� ������ ������������ ��������� (������ ��� ����� :-)).

������ ������ ����� robots.txt

� ����� robots.txt �����������: ������ ������ � ��� �� ���� ������������� �� �������. ������, ������ � ���� ����� ���������� �� ���������� ����� ����������, � ����� ������ - ������ (����������� ������ �������), ������ �� ������� ������������ ��� ������ ��� ���������� �������. �������� ������ ����������� � ������ ������ ����� (�������� User-agent, ��� ������� � robots.txt �����������):

User-agent: robot1 robot2 robot3, ���:

robot1, robot2 � robot3 - �������� ��������� �������. ��������:

User-agent: WebCrawler Lycos StackRambler

��� ������, �������� ��������� ������� ������ ���������� �� �������� ��������� ������ (� ����� �������: ������ ��������� ������� Rambler "�����" StackRambler). � ����������� �������, ������, ������ �������� ������� �� ���������. ���������� ������ ��������:

User-agent: *, ����� ���� "*" ��������, ��� ������ ��������� �� ���� ������� (� ����� ����� ���� ������ ���� ����� ������).

����� ��� ������ ������:

Disallow: ����, ���:

���� - ����� URI, ������� ��������� �������� ������. ����� ��������� ��������� ��� �������� (����� URI, ������������ � ���������� �������� ������ �������� ���������). ��� ������� �������, ������������ � ���������� ����� ������ ��������� Dissallow.

�������� ��������: ����������� �� ����������, � ������������� ����.

��������:

Disallow: /topsecret/ - ��������� ������ � ���������� � ����� ������, �� �� ��������� ����� � ����� ������, �.�. ���� topsecret.html ����� ���������������, � ��� ����� � ���������� /topsecret/ - ���.

Disallow: /privat - ��������� ������ ��� � ����������� � ����� ������, ��� � � ������.

Disallow: /folder/file.htm - ��������� ������ � ������������ ����� � ����������� ����������.

�� ������� �����, ��� ��� ������� �������, ������������ � ��������������, ������������ ��������� ������ Disallow. ������ �������� ��������� Disallow ��������, ��� ��� URL ����� �����������. � ����� robots.txt ������ ����, �� ������� ����, ���� �������� Disallow. �������� Disallow ������ ��������� ������ � ��������������� ��������� User-agent, ������� ��� ������� ��������� User-agent ����� �������� ���� ��������� Disallow.

������� ������ ������

����� ����� ������ ��������� ����� robots.txt � ��������� �������� ��� ������������ ����� �� ���������� ��������. ���� ��������� ������� ���������� �������� ������� � ���� ����.

������ 1.

# robots.txt file for http://dengi.filosofia.ru/
# contact [email protected] for critics

User-agent: StackRambler Googlebot
Disallow:

User-agent: *
Disallow: /tmp/
Disallow: /logs/

������ # �������� �����������. ����������� ����� ������ �� ��������� ������.

� ���� ������� ���� ������� ����������� �������� ���������� tmp � logs, � ������ ������� StackRambler � Googlebot ��������� �������� ��.

������ 2.

# I hate search engines!

User-agent: *
Disallow: /

� ���� ������� ���� ������� ��������� ����� ������������ �� �����.

������ 3.

User-agent: *
Disallow: /private/letters/
# This is top secret directory.
Disallow: /cgi-bin/
Disallow: /anektods.html

� ���� ������� ���� ������� ����������� �������� ��������, ����������� � ����������� /private/letters/ � /cgi-bin/, � ��� �� ���� anektods.html.

������ 4.

User-agent: *
Disallow:

��� ����� ������� ������. ���� ������� ����� ������������ ����� ��������� �� �������.

�������� ������������

������������� �� ���� ����� ����� robots.txt ������ � ���� ������������� ���������. �� ������ ���������� �� �������� ���������������. ���� ���-�� ������ � �������� ������ �������� ��������������� ����� ����� �����, ��� ������ ��������, ����� �������� � ����� ������������� �������� ������ �� ����������� ����. ����� ����� � ������ �������� �������� ������ ���� � ���� "��������� ��������" � �������� �� ���������. ��� ���������� "������ ���".

��� �� �������� ���������� �� �����������? ����� ��������� - �� ��������� � �� ������������� ��������. ���� ��� ������������� ������ ����������, ����� ����������� � � ���������� ����? ���� �� ���������� ��-���� ���� ��������, ����������� � ���������� ���������� ����-��� "robots". � ���������� ���������� ������� ��������������.

Все статьи



© 2008-2025 YandeG.ru
Контакты | Комментарии
SEO статьи SEO новости Кнопка для Браузера