Čo je robots.txt?

Čo je robots.txt?

robots.txt je textový súbor umiestnený na webovom serveri, ktorý slúži na komunikáciu so “robotmi” (takzvanými “web crawlermi” alebo “spidermi”) vyhľadávačov, ktoré indexujú a spracovávajú webové stránky. Ide o špeciálny protokol, ktorým majitelia webových stránok môžu informovať roboty, aké časti ich stránok majú indexovať a aké by mali ignorovať.

Prečo je robots.txt dôležitý?

Robots.txt je dôležitý, pretože umožňuje majiteľom webových stránok ovládať to, čo sa zobrazuje vo vyhľadávačoch a čo nie. Pomáha zabrániť indexácii nežiaducich častí stránok, ako sú napríklad súkromné údaje, testovacie stránky, či duplicity obsahu, ktoré by mohli ovplyvniť hodnotenie stránok vo vyhľadávačoch.

Konkrétny príklad robots.txt

Pre ilustráciu, nasledujúci príklad ukazuje obsah súboru robots.txt:

javascript

Disallow: /private/

Disallow: /test/

Allow: /public/

V tomto príklade sa všetkým robotom (“User-agent: *”) zakazuje prístup k adresáru “/private/” a “/test/”, zatiaľ čo im je dovolený prístup k adresáru “/public/”.

Ako nastaviť robots.txt?

Nastavenie súboru robots.txt vyžaduje jednoduchú textovú editáciu súboru. Súbor by mal byť umiestnený v koreňovom adresári webového servera. Odporúča sa, aby majiteľ stránky skontroloval nastavenie súboru, aby sa uistil, že obsah stránky je správne nastavený a že neobsahuje nežiaduce časti, ktoré by mohli ovplyvniť SEO a indexáciu vo vyhľadávačoch.