Robots.txt i sitemap

Šta radi robots.txt

Robots.txt je običan tekstualni fajl na adresi domene sa dodatkom imena fajla. U njemu se navodi kojim robotima je šta dozvoljeno, i tu se najčešće navodi i adresa sitemapa.

Važno je razumjeti da robots.txt ne uklanja stranicu iz indeksa. On sprječava obilazak. Stranica koja je blokirana, a na koju vode linkovi sa drugih sajtova, i dalje se može pojaviti u rezultatima - samo bez opisa, jer je robot nije smio pročitati.

Za uklanjanje iz indeksa koristi se oznaka noindex u zaglavlju stranice. I tu nastaje klasična greška: ako stranicu blokirate u robots.txt, robot ne može pročitati noindex oznaku, pa stranica ostaje u indeksu zauvijek.

Šta radi sitemap.xml

Sitemap je spisak adresa koje želite da pretraživač pronađe, sa podatkom kad je svaka zadnji put mijenjana. Posebno je koristan za nove sajtove, velike sajtove i one na koje vodi malo vanjskih linkova.

Sitemap ne garantuje indeksiranje. On pomaže otkrivanju, ali odluku o tome hoće li stranica ući u indeks donosi sistem na osnovu kvaliteta.

Podatak o datumu izmjene ima smisla samo ako je tačan. Sitemap u kojem sve stranice imaju isti datum od prije godinu dana ne prenosi nikakvu informaciju. Oznake prioriteta Google ignoriše od 2023. i nema razloga trošiti vrijeme na njih.

Česte greške

Najozbiljnija je blokiranje cijelog sajta. Dovoljna je jedna linija ostavljena sa razvojne verzije da sajt nestane iz pretrage. Provjerite ovo prvo ako je promet naglo pao nakon lansiranja.

Druga je blokiranje CSS i JavaScript fajlova. Google renderuje stranice kao browser, pa ako ne može učitati stilove, vidi razbijenu stranicu i može je ocijeniti kao lošu na mobitelu.

Treća je sitemap sa adresama koje vraćaju grešku ili redirect. Sitemap treba sadržavati samo konačne adrese koje vraćaju uredan odgovor i koje nisu blokirane.

Četvrta je zaboravljen sitemap. Sajt kojem se dodaju stranice, a sitemap se generiše ručno jednom godišnje, gubi najveći dio koristi od tog fajla.

Kako provjeriti

Otvorite oba fajla direktno u browseru - moraju se učitati i vraćati uredan odgovor. Zatim u Search Console prijavite sitemap i pratite izvještaj o indeksiranju.

Izvještaj pokazuje koliko je adresa iz sitemapa indeksirano i koje su odbijene, sa razlogom. To je najbrži način da se otkrije problem koji se inače primijeti tek kad promet padne.

Kod većih sajtova vrijedi razdvojiti sitemap po vrsti sadržaja - jedan za stranice, jedan za tekstove - i povezati ih kroz indeks sitemapa. Tako se odmah vidi koja grupa sadržaja ima problem.

Ukratko

Ova dva fajla su među najjeftinijim i najopasnijim stvarima na sajtu. Postavljaju se za nekoliko minuta, a jedna pogrešna linija može ukloniti cijeli sajt iz pretrage.

Pravilo koje rješava većinu problema: robots.txt koristite samo da blokirate ono što zaista ne smije biti obilaženo, sve ostalo pustite, a kontrolu indeksiranja radite kroz noindex oznaku i canonical.

Kako izgleda provjera u praksi

Prva provjera je najjednostavnija: vaša domena, kosa crta, ime fajla - otvorite oba direktno u browseru i pogledajte šta piše. Ako robots.txt sadrži pravilo koje blokira sve, sajt neće biti obiđen bez obzira na sve ostalo.

Zatim u Search Console koristite alat za provjeru pojedinačne adrese. On pokazuje da li Googlebot smije obaviti crawl te stranice i da li je indeksirana - to je najbrži način da se potvrdi da pravilo radi kako mislite.

Nakon prijave sitemapa pratite izvještaj nekoliko dana. Uobičajeno je da se ne indeksiraju sve adrese odmah, ali ako veliki dio bude odbijen, razlog piše u izvještaju.

Poseban oprez ide uz lansiranje novog sajta. Razvojne verzije se najčešće blokiraju u cijelosti, i to pravilo mora biti uklonjeno prije nego sajt ode uživo. Provjerite i da datum izmjene u sitemapu odražava stvarno stanje, jer sitemap sa istim datumom na svim adresama ne prenosi nikakvu informaciju.

Zadnja izmjena: 17. avgust 2026.