Bot-trafikk på nettsiden din: slik kjenner du igjen roboter og rydder i tallene

Besøksstatistikk er ferskvare for alle som driver nettsted: du bruker tallene til å forstå hva som virker, planlegge innhold og ta valg om markedsføring. Men mye av trafikken som dukker opp i statistikken er ikke mennesker i det hele tatt, men roboter.

Hvis du ikke skiller mellom ekte besøk og bot-trafikk, blir det fort vanskelig å vite hva som faktisk skjer på siden din. Her får du en jordnær innføring i hva bot-trafikk er, hvordan du gjenkjenner den og hvilke enkle grep du kan ta for å få renere tall.

Hva er bot-trafikk, og hvorfor finnes den?

En bot er et program som automatisk besøker nettsider. Noen gjør nyttig arbeid, for eksempel søkemotorer som Google som leser innhold for å kunne vise siden din i søkeresultater. Andre har mer tvilsomme eller direkte skadelige formål, som scraping, spam eller kartlegging av sårbarheter.

For deg som eier en side betyr dette at loggene dine fylles av besøk som ikke kommer fra ekte brukere. Det i seg selv er ikke nødvendigvis farlig, men det kan gjøre det vanskelig å tolke statistikk, og i verste fall belaste serveren eller avsløre svakheter i løsningen din.

Vanlige typer roboter du møter som nettstedseier

Det finnes mange kategorier, men for en vanlig nettstedseier er det nyttig å kjenne til noen få hovedtyper. De oppfører seg ulikt i loggene og krever forskjellige tiltak.

• Søkemotor-crawlere:Googlebot, Bingbot og liknende systemer som leser siden din for å bygge søkeindekser. Som regel ønsket trafikk, så lenge den ikke tar helt av.
• Analytics-spam og “ghost”-trafikk:Treff som dukker opp i analyseverktøy, gjerne med rare henvisningsdomener, men som egentlig aldri har lastet siden din på ordentlig.
• Innhentingsroboter (scrapers):Skript som laster ned innholdet ditt i stor skala, for eksempel for å kopiere tekster, hente priser eller samle e-postadresser.
• Skanner- og angrepsroboter:Forsøker innlogging på admin-sider, leter etter kjente sårbarheter eller standardfiler, ofte i stort tempo og mot mange adresser.

Noen av disse er nyttige og bør få jobbe i fred, andre ønsker du i praksis minst mulig aktivitet fra. Første steg er å gjenkjenne dem.

Typiske tegn på at trafikken kommer fra roboter

I analyseverktøy og serverlogger er det flere mønstre som ofte avslører at det ikke er en vanlig person bak besøket. Du trenger ikke være teknisk ekspert for å se de groveste avvikene.

Et godt startpunkt er å se på sider per økt og varighet. Roboter kan gi ekstremt høye eller ekstremt lave tall. Mange skanneløp laster hundrevis av sider veldig raskt, mens spamtreff ofte gir null sekunder og én sidevisning.

Kjennetegn du kan se etter i statistikken

• Uvanlig høy trafikk fra ett landdu egentlig ikke retter deg mot, gjerne plutselig og uten å henge sammen med kampanjer eller omtale.
• Mange besøk fra samme IP-adresseeller et smalt IP-område, ofte med kort tidsintervall mellom hver forespørsel.
• Rar “henviser” (referrer)som peker til domener som ser suspekt ut, for eksempel mer som reklame enn ekte nettsteder.
• Ulogiske sideruter, der en “bruker” på få sekunder laster administrative URL-er, tekniske filer og undersider som ingen vanlig besøkende ville oppsøkt manuelt.
• Brukeragent-strengersom enten er tomme, veldig generiske eller åpenbart falske, for eksempel gamle nettleserversjoner eller rare navn.

Jo flere slike tegn som dukker opp samtidig, jo større er sjansen for at du ser på bot-trafikk og ikke ekte brukere.

Bot-trafikk og analyseverktøy: rydd opp i tallene

Det er vanskelig å fjerne roboter helt, men du kan komme langt med å filtrere dem ut av rapportene. De fleste nettanalyseverktøy har funksjoner for å dempe kjent bot-trafikk, men det lønner seg å gjøre noen egne justeringer også.

En enkel tilnærming er å skille mellom “rå” tall og “rensede” tall. Behold alt i en ufiltrert visning for historikk, og lag i tillegg visninger eller segmenter der du filtrerer bort de mest åpenbare kildene til støy.

Praktiske grep for både små og større nettsteder

• Aktiver innebygd bot-filtreringi analyseverktøyet dersom det finnes, og kontroller jevnlig om nye alternativer er lagt til.
• Lag filtre på mistenkelige henvisningsdomener, men vær forsiktig så du ikke filtrerer bort samarbeidspartnere eller kampanjer ved et uhell.
• Lag segmenter for “sannsynlig mennesketrafikk”, for eksempel ved å kombinere krav til varighet, sider per økt og geografi du faktisk retter deg mot.
• Bruk separate måle-ID-erpå interne testmiljøer, så ikke intern trafikk blander seg inn i produksjonstallene.

Før du fjerner noe permanent, kan det være lurt å teste filtre og segmenter over litt tid og sammenligne rapporter. Da ser du raskt om du har vært for streng.

Tekniske virkemidler: begrense uønskede roboter

Noe bot-trafikk vil du beholde, spesielt søkemotorer og nødvendige integrasjoner. Men du kan likevel dempe røff kjøring uten å forstyrre det som er nyttig aktivitet.

For de fleste mindre og mellomstore nettsteder holder det med noen få grep som ikke krever dyptgående sikkerhetskunnskap, men som likevel gir roligere server og mer kontroll.

Konkrete tiltak du kan vurdere

• robots.txt:Gi høflige roboter beskjed om hvilke områder som ikke skal crawles. Husk at dette er en anbefaling, ikke en tvangsmekanisme.
• Rate limiting:Sett begrensninger hos leverandør eller gjennom brannmur slik at én IP-adresse ikke kan gjøre svært mange forespørsler per minutt.
• Beskytt innloggingssider:Endre standard-adresser der det er fornuftig, begrens antall innloggingsforsøk og vurder ekstra innloggingssteg for administratorer.
• CAPTCHA kun der det trengs:Legg eventuelt inn enkle kontroller på skjemaer som ofte misbrukes til spam, men unngå å irritere vanlige brukere unødig.

Hvis du er usikker på hvordan dette best konfigureres på din plattform, kan det være lurt å sjekke dokumentasjonen til leverandøren eller spørre en utvikler om en kort gjennomgang.

Rutine for jevnlig kontroll og vedlikehold

Bot-trafikk forandrer seg over tid, og nye mønstre dukker opp etter hvert som verktøy og angrepsmetoder utvikler seg. Derfor er det mest effektive du kan gjøre å bygge en enkel vane for å kikke på tallene med jevne mellomrom.

Lag for eksempel en månedlig sjekkliste der du ser på topp henvisere, land, brukeragenter og uvanlige topper i trafikk. Noter ned funn, og gjør små justeringer i filtre og regler i stedet for store, sjeldne oppryddinger.

Med litt nysgjerrighet og noen få tekniske grep vil statistikken din bli mer pålitelig, serveren få mindre unødvendig belastning og du får et klarere bilde av hvordan ekte besøkende faktisk bruker nettsiden din.