WordPress

WordPress privzeto nima datoteke robots.txt: ustvari jo, ko jo kdo zahteva. Če v korenski mapi strani obstaja prava datoteka robots.txt, ima ta prednost in različice WordPressa nihče ne vidi.

1. Odprite Settings → Reading in preverite, da je Search engine visibility (Discourage search engines from indexing this site) odkljukano. Na živi strani ne bi smelo biti nikoli vklopljeno.
2. Yoast SEO: Yoast SEO → Tools → File editor pokaže robots.txt in ga omogoča urejati (če strežnik Yoastu dovoli pisati datoteko).
3. Rank Math: Rank Math SEO → General Settings → Edit robots.txt (vidno v načinu Advanced). Če obstaja fizična datoteka, Rank Math to pove in morate urediti datoteko samo.
4. Če obstaja fizična datoteka in je noben vtičnik ne ureja, jo spremenite prek FTP-ja ali upravitelja datotek pri gostitelju (glejte zavihek cPanel).

Nato počistite predpomnilnik strani: nekateri vtičniki za predpomnjenje in gostitelji shranijo tudi robots.txt.

cPanel

1. Odprite Files → File Manager in pojdite v korensko mapo strani (običajno public_html).
2. Z desnim klikom na robots.txt izberite Edit.
3. Izbrišite vrstico Disallow: / (ali jo zamenjajte z Disallow:) in kliknite Save Changes.

Plesk (Files) in DirectAdmin (File Manager) delujeta enako. Če v mapi ni robots.txt, datoteko ustvari CMS: glejte zavihek WordPress.

nginx

Običajno je robots.txt navadna datoteka v korenu strani (direktiva root v bloku server). Uredite jo tam. Nekatere konfiguracije jo vrnejo kar iz nginxa, zato poiščite tudi to:

sudo grep -rn 'robots.txt' /etc/nginx/

Tak blok vrne zaprt robots.txt ne glede na to, kaj piše v datoteki:

location = /robots.txt {
    return 200 "User-agent: *\nDisallow: /\n";
}

Izbrišite ga (ali spremenite besedilo), nato preverite in znova naložite:

sudo nginx -t && sudo systemctl reload nginx

Apache in LiteSpeed

Uredite datoteko robots.txt v DocumentRoot strani. Če je videti pravilna, strežnik pa vrne nekaj drugega, v konfiguraciji poiščite preusmeritev (rewrite) ali alias:

sudo grep -rn -i 'robots' /etc/apache2/ /var/www/

(Na Rocky, Alma in CentOS /etc/httpd/ namesto /etc/apache2/.) Če ste spremenili virtualnega gostitelja, uveljavite spremembo:

sudo apachectl configtest && sudo systemctl reload apache2

Node.js in Next.js

V Next.js App Routerju je robots.txt statična datoteka app/robots.txt ali pa ga ustvari app/robots.js:

export default function robots() {
    return {
        rules: { userAgent: '*', allow: '/' },
        sitemap: 'https://example.com/sitemap.xml',
    };
}

Tam poiščite disallow: '/', pogosto za pogojem na okolje. V drugih aplikacijah Node je robots.txt običajno datoteka v public/.

Laravel

Nov projekt Laravel ima public/robots.txt z odprtim pravilom. Datoteko uredite tam. Če robots.txt namesto nje streže pot (v routes/web.php poiščite robots), preverite, kaj vrne v produkciji, in da je v .env na živem strežniku nastavljeno APP_ENV=production.

Shopify

Shopify sam ustvari smiseln robots.txt. Spremeni se samo, če ima tema predlogo robots.txt.liquid: Online Store → Themes → … → Edit code → Templates. Če obstaja in doda Disallow: /, to pravilo odstranite ali predlogo izbrišite, da se vrnete na privzeto različico Shopifyja.

Wix

Wix robots.txt ustvari sam. Če ga je kdo urejal, na nadzorni plošči odprite nastavitve SEO, pojdite v Robots.txt Editor in odstranite pravilo Disallow: / ali datoteko ponastavite na privzeto.

Webflow

Odprite Site settings → SEO in v polju robots.txt odstranite Disallow: /. Shranite in stran objavite (Publish): sprememba gre v živo šele z naslednjo objavo.

Squarespace

Squarespace robots.txt ustvari sam in ga ni mogoče urejati. Privzeta različica ne zapre cele strani. Če jo kontrolni seznam vseeno javi, preverite, da je stran javna (ne zasebna ali zaščitena z geslom).