Robots.txt генератор

Izgradite potpuno strukturirane direktive pravila u datoteci Robots.txt kako biste dozvolili ili ograničili botove za indeksiranje i uputili na lokacije indeksa svojih dinamičkih XML sitemap datoteka.

Direktive za robote

Podrazumevani pretraživački botovi (User-agent: *):

Politika za Googlebot:

URL Sitemap XML datoteke:

Nedozvoljeni direktorijumi (jedan po redu):

Robots.txt izlaz:

Funkcije

Robots.txt uslužni generator

Дефинишите јасне смернице за претраживаче како би обилазили структуре ваших страница.

🤖

Zaštita od botova za indeksiranje

Sprečava botove pretraživače da troše budžet za indeksiranje na nejavne oblasti kao što su administratorske kontrolne table ili razvojne putanje.

📄

Индексирање мапе сајта

Eksplicitno deklariše putanju vaše sitemap datoteke unutar robots direktiva, pomažući krolerima da brže mapiraju linkove.

🔒

Bez otpremanja na server

100% конфигурација у прегледачу. Не региструјемо, не чувамо и не пратимо датотеке домена.

🕷️

Prilagođavanje Googlebot-a

Lako definišite posebna pravila za Google-ove pauke za indeksiranje.

💾

Preuzimanje integracije

Direktno preuzmite konačni set pravila kao čist robots.txt tekstualni fajl, spreman za otpremanje.

⚙️

Zamena podrazumevane vrednosti

Podesite standardna podrazumevana pravila dozvoljavanja/zabrane jednostavnom konfiguracijom putem padajućeg menija.

Често постављана питања

robots.txt je tekstualna datoteka koju veb-masteri kreiraju da bi uputili robote pretraživača (kao što je Googlebot) kako da indeksiraju stranice na njihovom sajtu. Ona je deo Protokola o isključivanju robota (Robots Exclusion Protocol – REP).

Datoteka robots.txt mora biti otpremljena u korenski direktorijum hosta vašeg veb-sajta (npr. https://yourdomain.com/robots.txt) kako bi je pretraživački roboti automatski otkrili.

Ne nužno. Pravilo „disallow“ u datoteci robots.txt govori Googlebot-u da ne obilazi tu stranicu, ali ako druga veb lokacija sadrži link ka toj stranici, ona ipak može biti indeksirana. Da biste stranice potpuno sakrili, koristite meta oznake "noindex" ili autorizaciju na serveru.

Povezivanje vaše XML mape sajta u datoteci robots.txt govori botovima pretraživača tačno gde da nađu strukturu mape vašeg sajta, što im pomaže da brže indeksiraju vaše najnovije članke.

Da, krauleri pretraživača podržavaju džoker znakove kao što su * (bilo koji niz znakova) i $ (kraj reda) za definisanje poklapanja obrazaca.

Своја правила можете проверити помоћу алатке Robots Testing Tool у Google Search Console-у или опција за проверу индексирања у Bing Webmaster Tools-у.