Dokumentacija

Odstranite noindex z žive strani

Odstranite noindex z žive strani

noindex iskalnikom sporoča, naj stran odstranijo iz rezultatov. Na testni strani je to natanko to, kar želite. Na živi strani pa je to najdražja napaka ene besede v SEO: stran se še vedno naloži, vsak obiskovalec jo še vedno vidi, a Google v nekaj dneh ali tednih odstrani njene strani, prvi znak pa je običajno poročilo o obisku mesec pozneje. Skoraj vedno pride na enak način: stran gre v živo s še vklopljenimi nastavitvami testnega okolja.

Kontrolni seznam strani to označi kot Popravi in pošlje opozorilo, ko stran, ki je bila indeksirana, postane noindex.

Od kod pride noindex

Kje Kako izgleda Kdo ga doda
meta oznaka v HTML-ju <meta name="robots" content="noindex, nofollow"> CMS, vtičnik za SEO, tema ali predloga aplikacije
glava X-Robots-Tag X-Robots-Tag: noindex spletni strežnik, .htaccess, pravilo v CDN-ju ali aplikacija

Kontrolni seznam prebere oboje in pokaže, kaj je našel. nofollow, noarchive in podobni sami strani ne odstranijo; to naredi samo noindex (tudi znotraj none).

Preverite sami

Namesto example.com vpišite svojo stran:

curl -sIL https://example.com | grep -i '^x-robots-tag'
curl -sL https://example.com | grep -ioE '<meta[^>]+name="?(robots|googlebot)"?[^>]*>'

Prvi ukaz izpiše glavo, drugi meta oznake robots. Če nobeden ne izpiše ničesar z noindex, je stran odprta za indeksiranje. Preverite tudi nekaj podstrani, ne samo domače: predloga ali posamezna stran ima lahko svoj noindex.

Kako popraviti

Poiščite, od kod pride noindex (tabela zgoraj), in ga odstranite tam. Če niste prepričani, začnite z zavihkom za CMS ali aplikacijo, zavihke za strežnik pa uporabite, kadar je vir glava.

WordPress

Celotna stran. Odprite Settings → Reading in odkljukajte Search engine visibility (Discourage search engines from indexing this site), nato kliknite Save Changes. To je kljukica, ki ostane vklopljena, ko se stran preseli s testnega okolja v živo.

Posamezna stran ali prispevek z Yoast SEO. Uredite stran, v polju Yoast SEO odprite Advanced in pri Allow search engines to show this page in search results? izberite Yes (ali privzeto vrednost, če je privzeto Yes). Celotne vrste vsebine so pod Yoast SEO → Settings → Content types (Show … in search results).

Posamezna stran ali prispevek z Rank Math. Uredite stran, odprite ploščo Rank Math, zavihek Advanced, in pod Robots Meta odkljukajte No Index. Privzete nastavitve za celo stran so pod Rank Math SEO → Titles & Meta.

Nato počistite predpomnilnik strani (WP Rocket, LiteSpeed Cache, W3 Total Cache, predpomnilnik gostitelja): shranjena stran še vedno nosi staro oznako.

Če je oznaka še vedno tam, jo poiščite v temi in vtičnikih: dodata jo lahko tudi vtičnik za "maintenance" ali "coming soon" ali vrstica v functions.php, ki se priklopi na wp_robots.

cPanel

Meta oznaka pride iz CMS-ja (glejte zavihek WordPress). Glava lahko pride iz datoteke .htaccess:

  1. Odprite Files → File Manager, pojdite v mapo strani (običajno public_html) in v Settings vklopite Show Hidden Files.
  2. Uredite .htaccess in poiščite vrstico z X-Robots-Tag, na primer:
Header set X-Robots-Tag "noindex, nofollow"
  1. Izbrišite vrstico (ali cel blok <IfModule mod_headers.c> okoli nje) in shranite.

Preverite tudi datoteke .htaccess v podmapah. Če tam ni ničesar in glava ostaja, gostitelja vprašajte, ali jo dodaja za testne ali začasne domene.

nginx

Glavo poiščite v celotni konfiguraciji:

sudo grep -rn -i 'x-robots-tag' /etc/nginx/

Iščete vrstico, kot je ta, pogosto ostanek bloka server s testnega okolja, ki je bil kopiran za produkcijo:

add_header X-Robots-Tag "noindex, nofollow" always;

Izbrišite jo iz bloka server žive strani (na Debianu in Ubuntuju pod /etc/nginx/sites-available/, na Rocky, Alma in CentOS pod /etc/nginx/conf.d/), nato preverite in znova naložite:

sudo nginx -t && sudo systemctl reload nginx

Če je stran aplikacija za proxyjem (Node, Python), lahko glavo pošilja aplikacija sama: glejte zavihek Node.js ali Laravel.

Apache in LiteSpeed

Glavo poiščite v konfiguraciji strežnika in v .htaccess:

sudo grep -rn -i 'x-robots-tag' /etc/apache2/ /var/www/

(Na Rocky, Alma in CentOS /etc/httpd/ namesto /etc/apache2/.) Odstranite vrstico, kot je ta:

Header set X-Robots-Tag "noindex, nofollow"

Če je bila v virtualnem gostitelju, uveljavite spremembo:

sudo apachectl configtest && sudo systemctl reload apache2

Sprememba v .htaccess velja takoj, tudi na deljenem gostovanju z LiteSpeedom.

Cloudflare

Cloudflare vaši domeni sam ne doda noindex, lahko pa ga doda pravilo, ki ga je tam nekdo naredil. Odprite domeno in preverite:

  1. Rules → Transform Rules → Modify Response Header: pravilo, ki nastavi X-Robots-Tag. Izbrišite ga ali izklopite.
  2. Workers Routes: Worker na domeni lahko doda glavo ali prepiše stran.

Na Cloudflare Pages imajo predogledni naslovi na *.pages.dev namenoma X-Robots-Tag: noindex; vaša lastna domena ga nima. Če ga ima živa domena, poglejte v datoteko _headers projekta.

Ko glave ni več, počistite predpomnilnik: Caching → Configuration → Purge Everything.

Node.js in Next.js

V Next.js App Routerju poiščite robots v metadata ali generateMetadata, najpogosteje v korenski app/layout.js:

export const metadata = {
    robots: { index: false, follow: false }, // izbrišite ali naredite odvisno od okolja
};

Preverite tudi headers() v next.config.js za vnos X-Robots-Tag, v Pages Routerju pa morebiten <meta name="robots"> v next/head. Če želite skriti testno okolje, to vežite na okoljsko spremenljivko, ki je nastavljena samo tam, da je produkcija ne more podedovati.

Na Vercelu dobijo predogledne objave X-Robots-Tag: noindex samodejno; produkcijska domena ne. V Expressu poiščite X-Robots-Tag v middlewareu.

Laravel

V predlogi (običajno resources/views/layouts/app.blade.php) poiščite meta oznako robots, v app/Http/Middleware pa karkoli, kar nastavi X-Robots-Tag. Pogost vzorec je pogoj na okolje:

@unless (app()->isProduction())
    <meta name="robots" content="noindex, nofollow">
@endunless

Vzorec je dober, a odpove, kadar produkcija teče z napačnim okoljem. Preverite, da ima .env na živem strežniku APP_ENV=production, nato poženite php artisan config:cache, da to prevzame tudi predpomnjena konfiguracija.

Shopify

Shopify javni trgovini ne doda noindex. Če ga kontrolni seznam najde:

  • Online Store → Preferences → Password protection: dokler je stran z geslom vklopljena, trgovina sploh ni javna. Izklopite jo, ko gre trgovina v živo.
  • Online Store → Themes → … → Edit code: v theme.liquid in odrezkih (snippets) poiščite noindex. Nekatere teme in aplikacije ga namenoma dodajo določenim predlogam (rezultati iskanja, filtrirane zbirke), kar je v redu; na domači strani in izdelkih ni.
  • Strani lahko skrije tudi aplikacija za SEO; preverite njene nastavitve.

Wix

Na nadzorni plošči odprite nastavitve SEO in preverite, da je Let search engines index your site vklopljeno. Za posamezno stran: v urejevalniku odprite nastavitve strani, SEO basics, in vklopite Let search engines index this page. Nato stran objavite.

Webflow

Webflow skrije samo svoj testni naslov *.webflow.io (Site settings → SEO → Disable Webflow subdomain indexing); ta nastavitev vaše domene ne zadeva. Če ima vaša domena noindex, pride iz kode po meri: preverite Site settings → Custom code (Head code) in Page settings → Custom code vsake strani, odstranite meta oznako robots in kliknite Publish.

Squarespace

Preverite, da je stran javna (razpoložljivost strani ni zasebna ali zaščitena z geslom), nato odprite Page settings → SEO strani in izklopite možnost, ki stran skrije pred iskalniki. Meta oznako robots lahko vsebuje tudi vstavljanje kode (Settings → Advanced → Code Injection, v paketih, ki ga imajo).

Testno okolje skrijte z geslom, ne z noindex

noindex na testnem okolju je nastavitev, ki se je morate spomniti na dan objave. Geslo (HTTP basic auth ali gostiteljeva zaščita mape z geslom) zapre vrata iskalnikom in vsem drugim, ob selitvi pa ni ničesar za pozabiti, ker ga živi strežnik nikoli ni imel.

Nazaj v Google

Odstranitev oznake strani ne vrne v isti minuti. Google jih mora znova obiskati:

  1. V Google Search Console prilepite naslov v URL inspection na vrhu. Pokaže, ali Google še vidi noindex; s klikom na Test live URL preverite trenutno različico.
  2. Za domačo stran in najpomembnejše strani kliknite Request indexing.
  3. Sitemap oddajte pod Indexing → Sitemaps (glejte Dodajte sitemap), da Google najde še ostale.

Večina strani se vrne v nekaj dneh, na veliki strani v nekaj tednih.

Potrdite popravek

Znova poženite oba ukaza curl iz razdelka Preverite sami, nato v PulseKeeperju odprite tarčo in na zavihku Kontrolni seznam kliknite Preveri zdaj. Postavka se v nekaj minutah obarva OK, ne šele ob naslednjem dnevnem preverjanju.