Robots.txt failas naudojamas nurodyti paieškos robotams kas jūsų svetainės puslapiuose turėtų būti patikrinta ir indeksuota, ir kas palikta be patikrinimo. Dauguma svetainių turi failus ir aplankus, kurie nėra aktualūs paieškos sistemoms (pvz. admino failus). Todėl sukuriant robots.txt failą jūs iš tikrųjų galite pagerinti savo interneto svetainės indeksavimą, išvengti dublikuoto teksto, ko nemėgsta google ir kitos sistemos.
Robots.txt yra paprastas tekstinis failas. Blogger turi funkciją, kuri leidžia tiesiogiai sukurti šį failą Nustatymuose - Paieškos nuostatos.
User-agent: *
Disallow: /feed/
Disallow: /trackback/
User-agent: * reiškia, kad reiškia, kad visi paieškos robotai (iš Google, Yahoo, MSN ir tt) turėtų naudoti šiuos nurodymus, nuskaitant jūsų svetainę. Jeigu jūsų svetainė nėra sudėtinga, jums nereikės nustatyti skirtingus nurodymus skirtingiems robotams.
Disallow: reiškia, kad robotai turi aplenkti tai, ką jūs nurodote, pašalins visus nurodytus failus ir aplankus iš indeksavimo, išvengiant dublikuoto turinio, turėtumėte pašalinti ir admino failus.
