Robots.txt – Disallow vs. Allow

– Am hosting, am montat site-ul dar nu ştiu dacă trebuie să pun fişierul robots.txt, ce conţine şi la ce foloseşte?

Pentru că am constatat multe neclarităţi legate de fişierul robots.txt, vă voi expune astăzi câteva explicaţii şi recomandări privind utilizarea sa.

Despre Robots.txt
Fişierul robots.txt este un fişier adresat roboţilor de internet şi este uploadat numai de către webmaster cu scopul de a indica acestora anumite restricţii. Cea mai frecventă utilizare are în obiectiv spiderii motoarele de căutare.

Disallow vs. Allow
Am vorbit de restricţii şi nu întâmplător nu vorbim de permisiuni. Fişierul robots.txt este o convenţie de prevenire a indexării de către roboţi a unor „zone” ale unui site, zone pe care webmasterul nu doreşte să le facă publice din orice motive. Acest fişier mai este cunoscut ca Robots Exclusion Protocol sau ca Robot Exclusion Standard. Precum vedeţi nu se menţionează includerea (Allow) ci doar excluderea (Disallow).

Robots.txt winner = Disallow !
Se pare că în confruntarea teoretică dintre Disallow şi Allow, avem un câştigător net: robots.txt Disallow ! Fiind un protocol de excludere, fişierul conţine specificaţii Disallow pentru fişiere şi directoare, iar restul site-ului este considerat implicit fără restricţii. Din aceste considerente permisiunile „Allow” nu-şi au rostul, iar în cazul unui site cu acces complet permis, utilizarea acestui fisier nu este necesară.

Cum ramane cu Allow ?
Da, există şi directiva robots.txt Allow, însă nu vă recomand să o utilizaţi pentru că este non-standard şi poate fi interpretată diferit de anumiţi roboţi. Dacă totuşi aveţi nevoie de ea, e bine să ştiţi că aceasta trebuie adăugată înainte şi poate doar forţa accesul la unele fişiere, contrar unei alte directive Disallow ce blochează întregul director.

Robots.txt – Disallow vs. Allow publicat: 2013-02-27T21:38:29+00:00, actualizat: 2016-03-22T13:48:23+00:00 by WHD.ro [ Web Hosting & Design ]

Lasa un comentariu

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *