WordPress

WordPress domyślnie nie ma pliku robots.txt: generuje go, gdy ktoś o niego poprosi. Jeśli w folderze głównym strony istnieje prawdziwy plik robots.txt, ma on pierwszeństwo i wersji WordPressa nikt nie widzi.

1. Otwórz Settings → Reading i upewnij się, że Search engine visibility (Discourage search engines from indexing this site) jest odznaczone. Na działającej stronie nie powinno być nigdy zaznaczone.
2. Yoast SEO: Yoast SEO → Tools → File editor pokazuje robots.txt i pozwala go edytować (jeśli serwer pozwala Yoastowi zapisać plik).
3. Rank Math: Rank Math SEO → General Settings → Edit robots.txt (widoczne w trybie Advanced). Jeśli istnieje fizyczny plik, Rank Math o tym informuje i trzeba edytować sam plik.
4. Jeśli jest fizyczny plik i żadna wtyczka go nie edytuje, zmień go przez FTP lub menedżer plików hostingu (zobacz zakładkę cPanel).

Potem wyczyść pamięć podręczną strony: niektóre wtyczki cache i hostingi zapisują też robots.txt.

cPanel

1. Otwórz Files → File Manager i przejdź do folderu głównego strony (zwykle public_html).
2. Kliknij prawym przyciskiem robots.txt i wybierz Edit.
3. Usuń linię Disallow: / (albo zamień ją na Disallow:) i kliknij Save Changes.

Plesk (Files) i DirectAdmin (File Manager) działają tak samo. Jeśli w folderze nie ma robots.txt, plik generuje CMS: zobacz zakładkę WordPress.

nginx

Zwykle robots.txt to zwykły plik w katalogu głównym strony (dyrektywa root bloku server). Edytuj go tam. Niektóre konfiguracje zwracają go bezpośrednio z nginx, więc poszukaj też tego:

sudo grep -rn 'robots.txt' /etc/nginx/

Taki blok zwraca zamknięty robots.txt bez względu na to, co jest w pliku:

location = /robots.txt {
    return 200 "User-agent: *\nDisallow: /\n";
}

Usuń go (albo zmień tekst), potem sprawdź i przeładuj:

sudo nginx -t && sudo systemctl reload nginx

Apache i LiteSpeed

Edytuj plik robots.txt w DocumentRoot strony. Jeśli wygląda dobrze, a serwer zwraca coś innego, poszukaj w konfiguracji przepisania (rewrite) lub aliasu:

sudo grep -rn -i 'robots' /etc/apache2/ /var/www/

(Na Rocky, Alma i CentOS /etc/httpd/ zamiast /etc/apache2/.) Jeśli zmieniłeś wirtualny host, zastosuj zmianę:

sudo apachectl configtest && sudo systemctl reload apache2

Node.js i Next.js

W Next.js App Router robots.txt to statyczny plik app/robots.txt albo jest generowany przez app/robots.js:

export default function robots() {
    return {
        rules: { userAgent: '*', allow: '/' },
        sitemap: 'https://example.com/sitemap.xml',
    };
}

Poszukaj tam disallow: '/', często za warunkiem na środowisko. W innych aplikacjach Node robots.txt to zwykle plik w public/.

Laravel

Nowy projekt Laravel ma public/robots.txt z otwartą regułą. Edytuj plik tam. Jeśli zamiast niego robots.txt obsługuje trasa (poszukaj robots w routes/web.php), sprawdź, co zwraca na produkcji, i czy w .env na serwerze produkcyjnym jest APP_ENV=production.

Shopify

Shopify sam generuje rozsądny robots.txt. Zmienia się tylko wtedy, gdy motyw ma szablon robots.txt.liquid: Online Store → Themes → … → Edit code → Templates. Jeśli istnieje i dodaje Disallow: /, usuń tę regułę albo usuń szablon, żeby wrócić do domyślnej wersji Shopify.

Wix

Wix sam generuje robots.txt. Jeśli ktoś go edytował, otwórz w panelu ustawienia SEO, przejdź do Robots.txt Editor i usuń regułę Disallow: / albo przywróć plik domyślny.

Webflow

Otwórz Site settings → SEO i w polu robots.txt usuń Disallow: /. Zapisz i opublikuj stronę (Publish): zmiana trafia na produkcję dopiero przy kolejnej publikacji.

Squarespace

Squarespace sam generuje robots.txt i nie da się go edytować. Jego domyślna wersja nie blokuje całej strony. Jeśli lista kontrolna mimo to to zgłasza, sprawdź, czy strona jest publiczna (nie prywatna ani chroniona hasłem).