Slik bruker du robots.txt i WordPress uten å ødelegge for Google

Robots.txt virker teknisk og litt skummelt, men filen er i praksis en enkel huskelapp til søkemotorene om hva de bør og ikke bør hente fra siden din. Brukt riktig kan den redusere unødvendig crawling og beskytte enkelte deler av løsningen din mot indeksering.

I WordPress er robots.txt ekstra viktig fordi systemet genererer mange tekniske URL-er som du sjelden vil ha i Google. Samtidig er det lett å gjøre feil som stopper indeksering av hele siden. Her får du en trygg gjennomgang som lar deg ta kontroll uten å risikere synligheten din.

Hva er robots.txt, egentlig?

Robots.txt er en tekstfil som som regel ligger i rotnivået på domenet ditt, for eksempeldittdomene.no/robots.txt. Filen gir instruksjoner til såkalte roboter, typisk Googlebot og andre søkemotorer, om hvilke deler av nettstedet de kan besøke.

Viktige begrensninger: robots.txt er kun veiledende, gjelder vanligvis per domene og er ikke ment som sikkerhet. Innhold som ikke skal være tilgjengelig for uvedkommende må fortsatt beskyttes med innlogging eller andre løsninger.

Slik fungerer robots.txt i WordPress

Hvis du ikke har en fysisk robots.txt-fil på serveren, vil WordPress ofte servere en «virtuell» variant. Mange webhotell legger også inn en enkel standardfil automatisk. Det er derfor lurt å sjekke hva som faktisk ligger ute før du gjør endringer.

Åpnedittdomene.no/robots.txti nettleseren. Ser du innhold, har du allerede en aktiv fil. Er siden tom eller gir 404, kan du opprette en ny via FTP, filbehandler i kontrollpanel eller et SEO-plugin som tilbyr robots.txt-redigering.

Grunnleggende syntaks du bør kunne

Robots.txt består av enkle regler som leses ovenfra og ned. De viktigste linjetypene er:

• User-agent:Hvem regelen gjelder for, for eksempelGoogleboteller*(alle).
• Disallow:Hvor deikkefår gå, for eksempel en mappe eller sti.
• Allow:Unntak innenfor et område som ellers er blokkert.
• Sitemap:Valgfri pekere til XML-sitemaps.

Et enkelt eksempel:

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php

En fornuftig robots.txt-mal for de fleste WordPress-nettsteder

Det finnes ikke én perfekt mal som passer absolutt alle, men dette oppsettet er et ofte brukt og forholdsvis trygt utgangspunkt for normale nettsteder:

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php
• Disallow: /wp-includes/
• Disallow: /wp-content/plugins/
• Disallow: /?s=
• Disallow: /search/(hvis du har egne søkesider)
• Sitemap: https://dittdomene.no/sitemap.xml(juster adressen til din sitemap)

Her bes søkemotorer om å holde seg unna typiske systemmapper og interne søkesider, samtidig som vanlige sider, innlegg og kategorier forblir tilgjengelige for indeksering.

Vanlige feil som skader synligheten din

Den mest alvorlige feilen er å blokkere hele nettstedet, for eksempel med:

• User-agent: *
• Disallow: /

Dette brukes noen ganger under utvikling og blir så stående når siden lanseres. Resultatet er at Google gradvis fjerner sidene dine fra søkeresultatene. Sjekk derfor alltid robots.txt før lansering og ved større endringer.

En annen typisk feil er å blokkere ressurser som CSS og JavaScript-filer, ofte ved å stenge hele/wp-content/. Da kan Google få problemer med å gjengi siden riktig, noe som i neste omgang kan påvirke rangering og vurdering av brukervennlighet.

Når bør du bruke robots.txt, og når bør du heller bruke noindex?

Robots.txt styrercrawling(om en robot får besøke en URL), ikke om en side kan vises i søkeresultater. For å be søkemotorer la være å vise en side, anbefalesnoindex-taggen i HTML-koden eller via SEO-plugin.

En praktisk tommelfingerregel:

• Brukrobots.txtfor tekniske områder, filer og endeløse parameter-URL-er.
• Bruknoindexfor innhold som er synlig for brukere, men som du ikke vil ha i søkeresultater, for eksempel enkelte landingssider, interne hjelpesider eller duplisert innhold.

Slik endrer du robots.txt trygt i WordPress

Det finnes flere måter å redigere robots.txt på, avhengig av hvordan nettstedet ditt er satt opp. Mange velger et SEO-plugin som tilbyr en enkel editor, for eksempel via et eget menyvalg for verktøy eller avanserte innstillinger.

Alternativt kan du opprette eller endre filen manuelt via FTP eller kontrollpanel hos webhotellet. Uansett metode: ta alltid ensikkerhetskopiav eksisterende fil, og test endringer på et staging-miljø eller lavtrafikktid hvis mulig.

Test at robots.txt gjør det du tror den gjør

Når du har oppdatert robots.txt, bør du kontrollere at instruksjonene tolkes som forventet. I Google Search Console finnes det verktøy som lar deg teste URL-er mot gjeldende roboter-instruksjoner på nettstedet.

Du kan også gjøre en enkel manuell sjekk: gå til robots.txt i nettleser, bekreft at endringene synes, og test noen typiske URL-er du har blokkert ved å lime dem inn i verktøyet i Search Console. På den måten ser du om Google oppfatter reglene slik du har tenkt.

Justér for spesielle behov, men med varsomhet

Noen nettsteder har avanserte behov, for eksempel store nettbutikker med mange filterkombinasjoner eller løsninger som genererer store mengder parameter-URL-er. Da kan robots.txt brukes til å begrense crawling av kombinasjoner som ikke gir verdi.

Hvis du gjør slike mer komplekse oppsett, lønner det seg å gå gradvis frem og observere hvordan søkemotorene oppfører seg over tid. Endringer i crawl-mønster og synlighet kan komme forsinket, så unngå hyppige og drastiske omskrivninger av filen uten klar plan.

Oppsummering: hold det enkelt og kontroller jevnlig

For de fleste WordPress-nettsteder er en ryddig, men enkel robots.txt nok: åpne for normale sider, lukk åpenbart tekniske områder og pek mot sitemap. Det viktigste er å unngå blokkerende regler som stenger hele domenet eller nødvendige ressurser.

Sett av noen minutter et par ganger i året til å sjekke robots.txt, særlig etter redesign, bytte av tema eller nye plugins. Kombinert med gode noindex-rutiner gir det deg en forutsigbar og trygg synlighet i søkemotorene uten at du trenger å bli teknisk ekspert.