Oxumağı tövsiyə edirik:

Robots.txt

Robots.txt resursun kök kataloqunda yerləşən və axtarış sistemləri üçün təlimatları ehtiva edən mətn faylıdır:

• veb saytın tanıtımını çətinləşdirə biləcək ayrı-ayrı bölmələrin, səhifələrin və ya faylların indeksləşdirilməsinin qadağan edilməsi,
• serverdən faylların endirilməsi arasında vaxt intervalının saxlanması üçün tövsiyələr,
• domen güzgüləri haqqında məlumat və s.

Hekayə

Robot İstisna Standartı 30 iyun 1994-cü ildə əsas axtarış sistemləri istehsalçıları arasında bağlanmış müqavilənin nəticəsidir. Bu standart rəsmi və ya korporativ standart deyil və gələcək axtarış botlarının uyğunluğuna zəmanət vermir. Müqavilənin qəbul edilməsinə səbəb indeksləşdirmənin sayt sahiblərinin istəklərinə zidd olaraq vaxtaşırı baş verməsi, düzgün aparıla bilməməsi və resurs ziyarətçilərinin serverlə işləməsini çətinləşdirməsi olub.

Fayl yaradılması

robots.txt yaratmaq üçün sizə düz mətn faylı lazımdır. Veb saytın təşviqi indeksləşdirmə məhdudiyyətlərinin qoyulmasını tələb etmirsə, boş bir sənəd yaratmaq kifayətdir. Resursda həmişə onun kökündə yalnız bir robots.txt ola bilər (faylın alt kataloqlarda yerləşdirilməsi onu robotların xüsusi meta teqlərindən istifadə etmədən robot axtarışını görünməz edəcək). URL hərflərə həssas olduğundan, fayl adı kiçik Latın hərfləri ilə yazılır. Əgər robots.txt faylı saytın optimallaşdırılması prosesi zamanı yaradılmayıbsa, boşdursa və ya standarta uyğun doldurulmayıbsa, axtarış botları öz alqoritmlərinə uyğun işləyirlər.

Standart

Robots.txt faylı <sahə:> <boşluq> <dəyər> <boşluq> formasında bir və ya bir neçə qeyddən ibarət ola bilər (hər biri yeni sətirdə olmalıdır). Sahə hərflərə həssas deyil. Fayla standart UNIX formasında şərhlər daxil ola bilər (# şərhin əvvəli, sətrin sonu onun sonu). Giriş İstifadəçi-Agent xətti (bir və ya daha çox) ilə başlayır, sonra Disallow. Tanınmayan sahələr nəzərə alınmır.

Ən sadə robots.txt belə görünür:

User-agent: *
Disallow: /название 1-го раздела/
Disallow: /название 2-го раздела/
Disallow: /название 3-го раздела/

Bu halda üç bölmənin indeksləşdirilməsi qadağandır.

• İstifadəçi-Agent. Bu sahənin dəyəri icazələrin təyin olunduğu axtarış botunun adıdır. Bir neçə ad göstərilibsə, onların hamısına giriş hüquqları tətbiq olunur. Ad əvəzinə “*” simvolu o deməkdir ki, girişdə bütün axtarış robotları üçün təlimatlar var.
• İcazə ver. Bu sahənin dəyəri indeksləşdirilə bilməyən tam və ya qismən URL-dir. Göstərilməyibsə, serverdəki bütün səhifə ağacı təhlil edilir.

Robots.txt-də saytda və ya administrator konsollarında idarəetmə panellərinə gedən yol yoxdur, çünki fayl resursun ziyarətçiləri tərəfindən oxuna bilər. İstənilən halda, axtarış motorları giriş və ya parol tələb edən və ya linki olmayan səhifələri indeksləmir.

Tövsiyə edirik × − +