Сервис анализа сайтов YandeG:
Главная

SEO статьи
  1. Раскрутка с помощью Twitter

  2. Схема раскрутки сайта

  3. Поднятие тИЦ с помощью Sape

  4. Альтернативный метод создания сайтов, которые не банятся

  5. Факторы ранжирования и эволюция SEO


SEO новости
  1. Круче Google, но медленнее "Яндекса"

  2. Бэклинки с молодых сайтов – иногда перспективно

  3. Куда пойти учится SEO, и пойти ли вообще?

  4. аффилиат-фильтр Яндекса

  5. Rambler обновит систему поиска и дизайн портала

Управление индексацией сайта при помощи файла robots.txt


����������

��������� ������ (��� ��������, �����, ��������� ������ � �.�.) ��������� ����� �� ���-���������, �����������, ������������ �� ��� ����������. ���-������ ����� ��������� ���������� ����������� �� ���� ����� ����� ���������: ��� ������ ����-�����, ���� ����� robots.txt. ���������� ��������� ������ ������.

����� ��������

robots.txt - ������ ���� (������, ��� - ������� ��������� ���� � ����������� txt, �� ������������ ������ �������), ������� � �������� ���������� ����� (��������, ���� ���� ����� ����� [url]http://filosofia.ru/[/url], �� ���� robots.txt ������ ���������� �� ������: [url]http://filosofia.ru/robots.txt)[/url]. �������� ��������: ��� ����� � ���������� ���� ������ � ������ ��������! ����� ���������, ������ �� �����-���� ����, ������ �����, �������� ������� � ���������� ����� robots.txt (������ ���������� ���� ������ ������� � ��������� ��� ����� ������������� ���� ����). �, ��� ������ �� ���������� ����������, ����� ������������ ���� ���������� ������������ �� ���� �����. �� ����� ����� ����� ���� ������ ���� ���� robots.txt. ���� ����� �� ������� ���� ���������� ��� ��������� �������, �� �� ��������� �� ����� �� ������ ������������ ��������� (������ ��� ����� :-)).

������ ������ ����� robots.txt

� ����� robots.txt �����������: ������ ������ � ��� �� ���� ������������� �� �������. ������, ������ � ���� ����� ���������� �� ���������� ����� ����������, � ����� ������ - ������ (����������� ������ �������), ������ �� ������� ������������ ��� ������ ��� ���������� �������. �������� ������ ����������� � ������ ������ ����� (�������� User-agent, ��� ������� � robots.txt �����������):

User-agent: robot1 robot2 robot3, ���:

robot1, robot2 � robot3 - �������� ��������� �������. ��������:

User-agent: WebCrawler Lycos StackRambler

��� ������, �������� ��������� ������� ������ ���������� �� �������� ��������� ������ (� ����� �������: ������ ��������� ������� Rambler "�����" StackRambler). � ����������� �������, ������, ������ �������� ������� �� ���������. ���������� ������ ��������:

User-agent: *, ����� ���� "*" ��������, ��� ������ ��������� �� ���� ������� (� ����� ����� ���� ������ ���� ����� ������).

����� ��� ������ ������:

Disallow: ����, ���:

���� - ����� URI, ������� ��������� �������� ������. ����� ��������� ��������� ��� �������� (����� URI, ������������ � ���������� �������� ������ �������� ���������). ��� ������� �������, ������������ � ���������� ����� ������ ��������� Dissallow.

�������� ��������: ����������� �� ����������, � ������������� ����.

��������:

Disallow: /topsecret/ - ��������� ������ � ���������� � ����� ������, �� �� ��������� ����� � ����� ������, �.�. ���� topsecret.html ����� ���������������, � ��� ����� � ���������� /topsecret/ - ���.

Disallow: /privat - ��������� ������ ��� � ����������� � ����� ������, ��� � � ������.

Disallow: /folder/file.htm - ��������� ������ � ������������ ����� � ����������� ����������.

�� ������� �����, ��� ��� ������� �������, ������������ � ��������������, ������������ ��������� ������ Disallow. ������ �������� ��������� Disallow ��������, ��� ��� URL ����� �����������. � ����� robots.txt ������ ����, �� ������� ����, ���� �������� Disallow. �������� Disallow ������ ��������� ������ � ��������������� ��������� User-agent, ������� ��� ������� ��������� User-agent ����� �������� ���� ��������� Disallow.

������� ������ ������

����� ����� ������ ��������� ����� robots.txt � ��������� �������� ��� ������������ ����� �� ���������� ��������. ���� ��������� ������� ���������� �������� ������� � ���� ����.

������ 1.

# robots.txt file for http://dengi.filosofia.ru/
# contact [email protected] for critics

User-agent: StackRambler Googlebot
Disallow:

User-agent: *
Disallow: /tmp/
Disallow: /logs/

������ # �������� �����������. ����������� ����� ������ �� ��������� ������.

� ���� ������� ���� ������� ����������� �������� ���������� tmp � logs, � ������ ������� StackRambler � Googlebot ��������� �������� ��.

������ 2.

# I hate search engines!

User-agent: *
Disallow: /

� ���� ������� ���� ������� ��������� ����� ������������ �� �����.

������ 3.

User-agent: *
Disallow: /private/letters/
# This is top secret directory.
Disallow: /cgi-bin/
Disallow: /anektods.html

� ���� ������� ���� ������� ����������� �������� ��������, ����������� � ����������� /private/letters/ � /cgi-bin/, � ��� �� ���� anektods.html.

������ 4.

User-agent: *
Disallow:

��� ����� ������� ������. ���� ������� ����� ������������ ����� ��������� �� �������.

�������� ������������

������������� �� ���� ����� ����� robots.txt ������ � ���� ������������� ���������. �� ������ ���������� �� �������� ���������������. ���� ���-�� ������ � �������� ������ �������� ��������������� ����� ����� �����, ��� ������ ��������, ����� �������� � ����� ������������� �������� ������ �� ����������� ����. ����� ����� � ������ �������� �������� ������ ���� � ���� "��������� ��������" � �������� �� ���������. ��� ���������� "������ ���".

��� �� �������� ���������� �� �����������? ����� ��������� - �� ��������� � �� ������������� ��������. ���� ��� ������������� ������ ����������, ����� ����������� � � ���������� ����? ���� �� ���������� ��-���� ���� ��������, ����������� � ���������� ���������� ����-��� "robots". � ���������� ���������� ������� ��������������.

Все статьи



© 2008-2024 YandeG.ru
Контакты | Комментарии
SEO статьи SEO новости Кнопка для Браузера