Slik bruker du robots.txt i WordPress uten å stenge ute Google ved et uhell

Robots.txt virker teknisk og litt skummelt, men filen har stor betydning for hvordan søkemotorer beveger seg på WordPress-nettstedet ditt. Med noen få bevisste valg kan du unngå dyrebar feilindeksering og samtidig hindre unødvendig crawling av sider som ikke bør synes i Google.

I denne artikkelen får du en jordnær forklaring på hva robots.txt gjør, hvordan den spiller sammen med WordPress, og konkrete eksempler på trygge oppsett du kan bruke og tilpasse.

Hva er robots.txt, og hva gjør den faktisk?

Robots.txt er en liten tekstfil som ligger i roten av domenet ditt, for eksempelhttps://dittdomene.no/robots.txt. Søkemotorer som Google og Bing spør etter denne filen når de besøker nettstedet, for å se hvilke deler de får og ikke får lov til å crawle.

Filen kan ikke tvinge søkemotorer til å følge reglene, men seriøse crawlere forholder seg som regel til den. Robots.txt styrer primært crawling, ikke om siden kan vises i søkeresultatene, det styres ofte bedre med meta-robots eller noindex.

Slik fungerer robots.txt i WordPress

En standard WordPress-installasjon har ikke en fysisk robots.txt-fil fra start. I stedet genererer WordPress en «virtuell» versjon når noen ber om /robots.txt, så lenge det ikke finnes en ekte fil i rotmappen.

Mange SEO-plugins, som eksempelvis Yoast SEO eller Rank Math, kan ta over denne virtuelle filen, eller hjelpe deg å lage en egen. Hvis du både har en fysisk fil og en plugin som prøver å styre robots.txt, er det den fysiske filen som gjelder.

Se hva du har i dag før du endrer noe

Før du gjør endringer, bør du alltid sjekke hva som faktisk ligger tilgjengelig. Skriv bare inn domenet ditt med /robots.txt i nettleseren, og se på innholdet i klartekst. Kopier gjerne hele innholdet til en notatfil før du begynner å eksperimentere.

Hvis du bruker en SEO-plugin, sjekk om den har en egen robots.txt-meny. Noen ganger overstyrer den WordPress sin virtuelle fil, og da bør du bare endre robots.txt der, ikke via FTP eller filbehandler.

Vanlige direktiver og hvordan du leser dem

En robots.txt-fil består av blokker som forteller hvilke «user agents» (crawlere) som gjelder, og hvilke kataloger eller filer som er tillatt eller blokkert. En enkel og typisk blokk kan se slik ut:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: *betyr «gjelder alle roboter».Disallowsier hva som ikke skal crawles. En tom Disallow-linje betyr at alt er tillatt, mens en tom Allow-linje som regel ikke trengs. Husk at robots.txt jobber med URL-baner, ikke med filsystemet direkte.

Et trygt utgangspunkt for de fleste WordPress-nettsteder

For et vanlig nettsted er det ofte fint å være ganske åpen. Du vil at søkemotorer skal komme til innholdet ditt, men ikke bruke tid på rene systemområder. Et enkelt og relativt trygt startoppsett kan se slik ut:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Sitemap: https://dittdomene.no/sitemap.xml

Bytt ut domenet med ditt eget, og kontroller at sitemap-URL-en faktisk finnes. Dersom du bruker en SEO-plugin, vil den ofte gi deg riktig sitemap-lenke du kan lime inn.

Robot-feil som gjør mest skade

Noen få feil går igjen, og de kan gi overraskende store konsekvenser. Den mest alvorlige er å blokkere hele nettstedet ved et uhell, for eksempel slik:

User-agent: *
Disallow: /

Dette ber alle søkemotorer holde seg unna absolutt alt. Endringen kan komme fra feil i et staging-oppsett, en gammel utviklerfil eller en plugin-konfigurasjon. Derfor bør du alltid kontrollere robots.txt ved lansering eller flytting av nettstedet.

Robots.txt er ikke riktig verktøy for alt

Mange prøver å bruke robots.txt for å «gjemme» sider med sensitiv informasjon, men dette er ikke sikkert. Hvis noen kjenner URL-en, kan de fortsatt gå rett til siden, og andre nettsteder kan lenke til den.

Vil du hindre at sider vises i søkeresultater, er det tryggere å bruke noindex via SEO-plugin eller temafunksjon. Vil du beskytte innhold, bruk innlogging, passordbeskyttelse eller tilgangsstyring på serversiden.

Eksempler på fornuig blokkering i WordPress

Det er ofte greit å holde søkemotorer unna søk, pagineringer og enkelte tekniske URL-er, særlig hvis de ikke gir verdi i søkeresultater. Eksempel:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Før du legger til slike linjer, bør du vurdere om du faktisk får mye duplisert eller lite nyttig innhold i indeks. Sjekk søkekonsollen for domenet ditt for å se hvilke URL-typer som allerede er indeksert.

Slik endrer du robots.txt i WordPress steg for steg

Det finnes to hovedmåter å gjøre endringer på: via SEO-plugin eller ved å laste opp en egen fil. Hvis du bruker plugin, følg dokumentasjonen deres og oppdater robots.txt der. Da slipper du å håndtere filrettigheter selv.

Hvis du vil ha full kontroll, kan du bruke FTP eller filbehandler i kontrollpanelet hos webhotellet. Lag en ren tekstfil som heterrobots.txti rotmappen til domenet, lim inn reglene dine og lagre. Test umiddelbart i nettleseren for å se at alt stemmer.

Test alltid i Google Search Console

Etter større endringer er det lurt å kontrollere at Google forstår filen slik du forventer. I Google Search Console kan du sende inn enkelte URL-er for ny crawling, og se om de blir blokkerte eller ikke.

Hvis nettstedet ditt er kritisk for virksomheten, er det fornuftig å gjøre endringer i små steg. Dokumenter hva du endrer, og notér datoen. Da blir det enklere å feilsøke dersom trafikken plutselig faller.

Gode vaner rundt robots.txt fremover

Robots.txt er ikke en fil du bør røre hver uke, men den bør heller ikke være helt glemt. Ta en rask sjekk når du bytter tema, installerer SEO-plugins, endrer URL-struktur eller flytter nettstedet til ny server.

Som en ekstra sikkerhet kan du lagre en «kjent god» versjon av robots.txt i dokumentasjonen for nettstedet, sammen med notater om hvorfor valgene er tatt. Det gjør det enklere å holde kontroll også når personer skiftes ut i teamet.