Hoe botverkeer de statistieken van je website vertekent

In dit artikel leggen we uit dat websiteanalyses alleen waardevol zijn als ze het gedrag van echte bezoekers weergeven, maar dat een aanzienlijk deel van het internetverkeer afkomstig is van geautomatiseerde bots en scrapers. Hoewel sommige bots (zoals crawlers van zoekmachines) nuttig zijn, scannen veel andere bots websites voortdurend op zoek naar inhoud, prijzen, kwetsbaarheden of trainingsgegevens voor AI. 
Als dit verkeer niet wordt uitgefilterd, kan dit analyses aanzienlijk vertekenen en leiden tot verkeerde zakelijke beslissingen.

Hieronder volgen enkele van de belangrijkste statistieken die sterk kunnen worden beïnvloed door botverkeer.

In een ander artikel zullen we verschillende mogelijkheden bespreken om deze gegevens in Snoobi te controleren en aan te passen.

Bots komen vaak niet via dezelfde kanalen binnen als menselijke bezoekers. Ze kunnen verschijnen als direct verkeer, verwijzingen vanaf onverwachte domeinen, het eigen domein of helemaal geen identificeerbare bron hebben. Hierdoor kunnen bepaalde verkeerskanalen hoger worden voorgesteld, waardoor marketingcampagnes succesvoller of minder succesvol lijken dan ze in werkelijkheid zijn.

Bots en scrapers bezoeken vaak honderden of zelfs duizenden pagina’s in één sessie. Dit kan het aantal paginaweergaven drastisch doen stijgen, waardoor de indruk wordt gewekt dat uw website veel meer bezoekers trekt dan in werkelijkheid het geval is.
Andere bots bekijken slechts één pagina, wat een enorme invloed heeft op het gemiddelde aantal pagina’s per sessie. 

Veel bots laden een pagina en gaan meteen verder, waardoor de laadtijd van de pagina vrijwel nul is. Andere bots pauzeren opzettelijk tussen verzoeken door om menselijk gedrag na te bootsen. Beide patronen geven een vertekend beeld van de gemiddelde tijd die bezoekers besteden aan het lezen van je inhoud.

Het bouncepercentage wordt beïnvloed door de manier waarop de bot werkt. Een scraper die slechts één pagina opvraagt, zal het bouncepercentage opdrijven, terwijl een crawler die systematisch elke pagina op je website bezoekt, het bouncepercentage ongewoon laag kan doen lijken.

Geautomatiseerd verkeer kan sessies veroorzaken die slechts enkele seconden duren, of juist sessies die langdurig aanhouden terwijl een hele website wordt doorzocht. Daardoor geeft de gemiddelde sessieduur niet langer een getrouw beeld van de manier waarop echte gebruikers met je website omgaan.

Bots werken vaak volgens schema’s die weinig verband houden met het gedrag van uw doelgroep. Geautomatiseerd crawlen ’s nachts of met vaste tussenpozen kan kunstmatige pieken in het verkeer veroorzaken, waardoor het moeilijk wordt om vast te stellen wanneer uw echte doelgroep werkelijk het meest actief is.

Scrapers richten zich vaak op productcatalogi, prijspagina’s, documentatie, blogs of API-eindpunten/formulieren. Deze pagina’s kunnen bovenaan je statistieken komen te staan, ook al worden ze door relatief weinig menselijke bezoekers bekeken.

Veel bots zijn afkomstig van VPN-verbindingen, cloudhostingproviders of datacenters over de hele wereld. Zonder filtering zullen je geografische rapporten aanzienlijke bezoekersaantallen laten zien uit landen waar je weinig of geen echt publiek hebt.

Bots gedragen zich zelden als gewone terugkerende bezoekers. Ze kunnen elke keer als volledig nieuwe bezoekers verschijnen of pagina’s herhaaldelijk bezoeken met behulp van geautomatiseerde identificatiegegevens, waardoor de statistieken over bezoekersloyaliteit een vertekend beeld geven.

Geautomatiseerde crawlers beginnen vaak bij sitemaps, het robots.txt-bestand, productpagina’s of URL’s die elders zijn gevonden. Dit betekent een vertekend beeld in rapporten die laten zien welke pagina’s nieuwe bezoekers aantrekken.

Een van de belangrijkste gevolgen betreft de conversiestatistieken. Bots voeren nooit zinvolle acties uit, zoals aankopen, aanvragen of registraties. Door de opgeblazen bezoekersaantallen in combinatie met onveranderde conversies lijken de conversiepercentages veel lager dan ze in werkelijkheid zijn. Maar het is ook mogelijk dat een bot een 'bedankt'-pagina leest wat kan leiden tot een niet-bestaande conversie.

Sommige bots doen zich voor als populaire browsers, terwijl andere zich openlijk bekendmaken. Dit kan de rapporten over browserversies, besturingssystemen en apparaattypen vertekenen, wat mogelijk leidt tot onnodige prioriteiten bij ontwikkeling van de website of testen.

Waarom de segmentatie- en filteropties in Snoobi Analytics belangrijk zijn

Het doel van webanalyse is om inzicht te krijgen in het daadwerkelijke gedrag van bezoekers en weloverwogen zakelijke beslissingen te ondersteunen. Wanneer er verkeer van bots en scrapers wordt meegeteld, worden vrijwel alle belangrijke statistieken misleidend.

Door geautomatiseerd verkeer te filteren, kunnen organisaties:

• Het daadwerkelijke gedrag van bezoekers meten.
• Marketingcampagnes nauwkeuriger evalueren.
• Inzicht krijgen in de werkelijke interesses van klanten.
• De conversieanalyse verbeteren.
• Betere, op gegevens gebaseerde beslissingen nemen.

Naarmate het geautomatiseerde verkeer blijft toenemen, worden effectieve botdetectie en -filtering steeds meer essentiële onderdelen van moderne webanalyse.

Snoobi Analytics biedt tal van mogelijkheden om botverkeer te filteren, waardoor je je kunt concentreren op de ‘echte’ statistieken zonder dat je als Snoobi-gebruiker over diepgaande technische kennis hoeft te beschikken.